天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(9)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-05-21 20:45:29 網(wǎng)易

這并不是說，能完全擺脫符號(hào)。而是將符號(hào)變成大向量，保留符號(hào)的表面結(jié)構(gòu)。這就是這些模型的工作方式。在我看來，這也是人類思維比較合理的模型。

借助共享權(quán)重，數(shù)字系統(tǒng)的思維遷移十分高效

主持人：您是最早想到使用GPU的人之一，我知道Jensen（黃仁勛）很喜歡你。2009年你就告訴Jensen，這可能是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一個(gè)絕佳辦法。當(dāng)初要使用圖形處理單元（GPU）訓(xùn)練神經(jīng)網(wǎng)絡(luò)，您是怎么想的？

Hinton：記得在2006年，我有位研究生，是十分優(yōu)秀的計(jì)算機(jī)視覺專家。一次會(huì)議上，他建議我考慮使用圖形處理卡（GPU），因?yàn)樗鼈冊(cè)诰仃嚦朔ǚ矫姹憩F(xiàn)出色，我所做的基本上都是矩陣乘法。我考慮了下，然后我們開始研究配備四個(gè)GPU的Tesla系統(tǒng)。

我們一開始只是購(gòu)買了游戲用的GPU，發(fā)現(xiàn)它們將運(yùn)算速度提高了30倍。然后又買了一個(gè)配備四個(gè)GPU的Tesla系統(tǒng)，并在此基礎(chǔ)上進(jìn)行了一次公開匯報(bào)，效果非常好。2009年，我在NIPS會(huì)議上發(fā)表了演講，告訴在場(chǎng)的一千名機(jī)器學(xué)習(xí)研究人員：你們都應(yīng)該去購(gòu)買NVIDIA的GPU，它們是未來，你們需要GPU進(jìn)行機(jī)器學(xué)習(xí)。

我還給NVIDIA發(fā)了一封郵件，說我已經(jīng)動(dòng)員一千名機(jī)器學(xué)習(xí)研究人員去購(gòu)買你們的卡，你們能不能送我一個(gè)？他們并沒有回復(fù)。但后來把這個(gè)故事告訴Jensen時(shí)，他免費(fèi)給了我一個(gè)（要顯卡，得直接找老板談）。

主持人：人工智能發(fā)展過程中，GPU其實(shí)也在發(fā)展。在計(jì)算領(lǐng)域，我們路在何方？

Hinton：我在谷歌的最后幾年里，其實(shí)一直在思考模擬計(jì)算。這樣，我們可以使用 30 瓦的功率（例如大腦），而不是使用一兆瓦的功率。我希望在模擬硬件中，運(yùn)行這些大型語言模型。雖然從來沒實(shí)現(xiàn)，但我開始真正重視數(shù)字計(jì)算。

使用低功耗的模擬計(jì)算，每個(gè)硬件部分都會(huì)有所不同，即需要學(xué)習(xí)利用特定硬件的屬性。這就是人們身上正在經(jīng)歷的。人和人的大腦都是不同的。我們不能將你大腦中的權(quán)重，放入我的大腦中。硬件不同，各個(gè)神經(jīng)元的精確屬性也不同。我們最后都會(huì)死去，我腦中的權(quán)重，對(duì)其他大腦也毫無用處。

首頁上一頁...6 7 8910 11 12...全文共 18 頁下一頁

關(guān)閉

天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(9)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)

天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(9)