天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(4)

小大

用微信掃描二維碼
分享至好友和朋友圈

關鍵詞：

2024-05-21 20:45:29 網易

然后他就做得煩了。有一天他來找我說，我要為MATLAB編寫一個交互界面，就可以用另一種語言編程，然后把它轉換成MATLAB。我說，不，Ilya，那將花費你一個月的時間。這個項目要繼續(xù)，不能被那個分散注意力。Ilya說，沒關系，我早上就做好了。

主持人：簡直不可思議！這些年來，最大的變化不僅僅體現(xiàn)在算法，還有規(guī)模。你如何看待？

Hinton：Ilya很早就看到這點，總是說，規(guī)模更大，表現(xiàn)更好。我之前總覺得站不住腳，新的想法還是需要的。但事實證明，他的判斷基本上是正確的。像Transformers這樣的算法確實很有用，但真正起作用的，是數(shù)據(jù)和計算的規(guī)模。當時想象不到計算機會快上數(shù)十億倍，覺得快上一百倍了不得了，于是試著提出巧妙的想法來解決問題。然而，有更大的數(shù)據(jù)和計算規(guī)模，很多問題就迎刃而解了。

大約在2011年，Ilya和另一個叫James Martins的研究生與我合作，寫了一篇關于字符級預測的論文。使用維基百科，并試圖預測下一個HTML字符。用的是GPU上的一個很好的優(yōu)化器，效果出乎意料的好。我們從未真正相信它理解了任何東西，但它看起來又好像理解了，這似乎讓人難以相信。

神經網絡不僅僅是記住訓練數(shù)據(jù)，而是在“理解”，推理能力的提高指日可待

主持人：能解釋一下模型如何預測下一個單詞，以及這樣認識他們?yōu)楹问清e誤的？

Hinton：好吧，我其實覺得這不算錯。

事實上，我認為我制作了第一個使用嵌入和反向傳播的神經網絡語言模型。數(shù)據(jù)非常簡單，只是三元組，將每個符號（Symbol）轉換為一個嵌入（embedding），然后讓嵌入相互作用以預測下一個符號的嵌入，然后從該嵌入中預測下一個符號，然后通過整個過程反向傳播以學習這些三元組。大約10年后，Yoshua Bengio（圖靈獎得主）使用非常相似的網絡，展示了它在真實文本上的效果。大約10年后，語言學家開始相信嵌入。這有一個發(fā)展的過程。

首頁上一頁 1 2 345 6 7...全文共 18 頁下一頁

關閉

天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(4)

相關新聞

今日熱點

頻道熱點

天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(4)