天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(14)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-05-21 20:45:29 網(wǎng)易

讓我舉一個(gè)例子。很多人認(rèn)為，給神經(jīng)網(wǎng)絡(luò)添加噪音會讓結(jié)果變得更糟。如果訓(xùn)練示例，讓一半的神經(jīng)元保持沉默，效果就會更糟。然而實(shí)際上，這樣做的話會帶來更好的泛化效果。你可以用一個(gè)簡單的例子來證明這一點(diǎn)。這就是計(jì)算機(jī)模擬的優(yōu)點(diǎn)。你可以證明，增加噪音會使情況變得更糟，去掉一半的神經(jīng)元，會使它工作得更糟。短期內(nèi)確實(shí)如此。但你這樣訓(xùn)練它，最終它會工作得更好。你可以用一個(gè)小型計(jì)算機(jī)程序來證明這一點(diǎn)，然后你可以認(rèn)真思考為什么會這樣，以及它如何阻止復(fù)雜的協(xié)同適應(yīng)。

這是我的研究方法。找到并研究那些看上去不可靠的事情，看看自己能否給出簡單demo，說明為什么錯(cuò)誤。

主持人：你覺得現(xiàn)在有什么不可靠的點(diǎn)呢？

Hinton：我們不使用快速權(quán)重的做法，貌似不是很可靠，我們只有兩個(gè)時(shí)間尺度，這完全是錯(cuò)誤的，一點(diǎn)不像大腦的工作方式。從長遠(yuǎn)來看，肯定要有更多的時(shí)間尺度。這只是一個(gè)例子。

主持人：我們談到了推理、時(shí)間尺度。假設(shè)一群學(xué)生來問你，你的領(lǐng)域中最重要的問題是什么？你又會給他們什么最值得研究的問題？

Hinton：對于我來說，現(xiàn)在的問題和我過去 30 年來一直存在的問題是一樣的，那就是大腦會進(jìn)行反向傳播嗎？我相信大腦會獲得梯度。你得不到梯度，你的學(xué)習(xí)效果就會比得到梯度時(shí)差很多。但是大腦是如何獲得梯度的？它是以某種方式實(shí)現(xiàn)某種近似版本的反向傳播，還是某種完全不同的技術(shù)？這是一個(gè)懸而未決的大問題。我繼續(xù)做研究的話，這就是我要研究的內(nèi)容。

主持人：當(dāng)你現(xiàn)在回顧你的研究生涯時(shí)，你會發(fā)現(xiàn)你在很多事情上都是對的。但是你在什么地方做錯(cuò)了，以至于你希望自己花更少的時(shí)間？

首頁上一頁...11 12 131415 16 17...全文共 18 頁下一頁

關(guān)閉

天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(14)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)

天才創(chuàng)始人對談AI教父Hinton：多模態(tài)是AI的未來，醫(yī)療將發(fā)揮AI最大的潛力(14)