天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(5)

小大

用微信掃描二維碼
分享至好友和朋友圈

關鍵詞：

2024-05-21 20:45:29 網(wǎng)易

我認為它不僅僅是預測下一個符號。

問一個問題，答案第一個單詞是下一個符號，那就必須理解這個問題。大多數(shù)人認為的“自動填充”則是，看到不同的單詞出現(xiàn)在第三位的頻率，這樣就可以預測下一個符號。但其實不是這樣。

為了預測下一個符號，必須理解正在說什么。我們是通過讓它預測下一個符號，迫使它理解。很多人說，它們不像人類那樣推理，只是在預測下一個符號。但我認為，它的理解方式像我們一樣。為了預測下一個符號，它必須進行一些推理?，F(xiàn)在已經(jīng)看到，你制作一個大的模型，不添加任何特殊的推理內(nèi)容，它們也已經(jīng)可以進行一些推理。規(guī)模越大，它們未來能進行的推理也更多。

主持人：現(xiàn)在除了預測下一個符號外，還做了其他什么嗎？

Hinton：這就是學習的方式。不管是預測下一個視頻幀，還是預測下一個聲音。我覺得這就是解釋大腦學習的十分合理的理論。

主持人：為什么這些模型能夠?qū)W習如此廣泛的領域？

Hinton：大語言模型所做的，是尋找事物之間共同的結構。基于共同結構對事物進行編碼，這樣一來效率很高。

舉個例子。問GPT-4，為什么堆肥堆像原子彈？大多數(shù)人都無法回答這個問題，覺得原子彈和堆肥堆是非常不同的東西。但GPT-4會告訴你，盡管能量、時間尺度不同，但相同的是，堆肥堆變熱時會更快地產(chǎn)生熱量；原子彈產(chǎn)生更多的中子時，產(chǎn)生中子的速度也會隨之加快。這就引出了鏈式反應的概念。通過這種理解，所有的信息都被壓縮到它自己的權重中。

這樣一來，它將能處理人類尚未見過的數(shù)百種類比，這些看似不相關的類比，正是創(chuàng)造力的源泉。我想，GPT-4變得更大時，創(chuàng)造力將非常高。如果只是覺得，它只在反芻學過的知識，只是將它已經(jīng)學過的文本拼湊在一起，那就小看它的創(chuàng)造力了。

首頁上一頁...2 3 456 7 8...全文共 18 頁下一頁

關閉

天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(5)

相關新聞

今日熱點

頻道熱點

天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(5)