天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(8)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-05-21 20:45:29 網(wǎng)易

多模態(tài)模型顯然會占據(jù)主導地位。你可以通過這種方式獲得更多數(shù)據(jù)，它們需要的語言會更少。當然，可以僅從語言中學習出一個非常好的模型，但從多模態(tài)系統(tǒng)中學習要容易得多。

主持人：你認為這將如何影響模型的推理能力？

Hinton：我認為它將使空間推理變得更好，例如，實際嘗試撿起物體，會得到各種有用的訓練數(shù)據(jù)。

主持人：你認為人類大腦的進化服務(wù)于語言，還是說語言的進步是服務(wù)于人類大腦？

Hinton：這是一個非常好的問題，我認為兩者是共存的。我曾經(jīng)認為，可以完全不需要語言去進行大量的認知活動，但現(xiàn)在我的想法有所改變。

那么，我將給出三種不同的語言觀點以及它們與認知的關(guān)系。

一種觀點是陳舊的符號觀點，即認知包括使用某種經(jīng)過清理的邏輯語言中的符號串，這些語言沒有歧義，并應(yīng)用推理規(guī)則。這就是認知——只是對語言符號串之類的事物進行符號操作。這是一種極端觀點。

另一種極端觀點是，一旦你進入頭腦，它就全是向量。符號進來了，把這些符號轉(zhuǎn)換成大向量，所有內(nèi)容都是用大向量完成的，然后想產(chǎn)生輸出，又會生成符號。2014年左右，機器翻譯中有一個說法，當時人們使用循環(huán)神經(jīng)網(wǎng)絡(luò)，單詞會不斷進入，它們會有一個隱藏狀態(tài)，它們會在這個隱藏狀態(tài)下不斷積累信息。因此，當它們讀完一個句子時，它們會得到一個大的隱藏向量，它捕捉到了該句子的含義，然后可以用來生成另一種語言的句子。這被稱為思維向量。這是對語言的第二種看法——將語言轉(zhuǎn)換成一個與語言完全不同的大向量，這就是認知的全部內(nèi)容。

第三種觀點，也是我現(xiàn)在所相信的，即你采用這些符號，將符號轉(zhuǎn)換成嵌入，并使用多層嵌入，這樣你就得到了這些非常豐富的嵌入。但是嵌入仍然與符號相關(guān)聯(lián)，從某種意義上說，你有一個用于這個符號的大向量，以及一個用于那個符號的大向量。這些向量相互作用，產(chǎn)生下一個單詞的符號的向量。這就是理解的本質(zhì)——知道如何將符號轉(zhuǎn)換成這些向量，并知道向量的元素應(yīng)該如何相互作用，從而預(yù)測下一個符號的向量。無論是在這些大型語言模型中，還是在我們的大腦中，理解就是這樣進行的。這是一個介于兩者之間的例子。你繼續(xù)使用符號，但將它們解釋為這些大向量，這就是所有工作所在。所有的知識都在于你使用的向量以及這些向量的元素如何相互作用，而不是符號規(guī)則。

首頁上一頁...5 6 789 10 11...全文共 18 頁下一頁

關(guān)閉

天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(8)

相關(guān)新聞

今日熱點

頻道熱點

天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(8)