天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來(lái)，醫(yī)療將發(fā)揮AI最大的潛力(10)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-05-21 20:45:29 網(wǎng)易

我們可以很低效地將信息從一個(gè)人傳遞給另一個(gè)人。我寫句子，你想辦法改變你思維里的權(quán)重，你就會(huì)說(shuō)同樣的話。這其實(shí)叫做提煉，但這種知識(shí)交流非常低效。

數(shù)字系統(tǒng)卻不同，它們不會(huì)死去。一旦有了一些權(quán)重，計(jì)算機(jī)這個(gè)殼就不重要了。只需將權(quán)重存儲(chǔ)在某個(gè)磁帶或者什么上，就可以把同樣的權(quán)重轉(zhuǎn)移進(jìn)另一臺(tái)計(jì)算機(jī)。如果是數(shù)字的，它就可以與其他系統(tǒng)一樣計(jì)算。所以，數(shù)字系統(tǒng)能夠以極高效率共享權(quán)重，甚至還能迭代。假設(shè)你有一大把數(shù)字系統(tǒng)，從相同的權(quán)重開始，各自進(jìn)行微量的學(xué)習(xí)，還能再次共享權(quán)重，這樣它們都能知道其他系統(tǒng)學(xué)到了什么，甚至完成了迭代。人類無(wú)法做到這一點(diǎn)，在知識(shí)共享上，數(shù)字系統(tǒng)比我們做得好太多。

主持人：許多已經(jīng)在該領(lǐng)域?qū)嵤┑南敕?，其?shí)都是非常傳統(tǒng)的，因?yàn)檫@些想法在神經(jīng)科學(xué)中一直存在。那么，你認(rèn)為還有哪些想法可以應(yīng)用于我們正在開發(fā)的系統(tǒng)呢？

Hinton：因此，我們?nèi)孕枳汾s神經(jīng)科學(xué)的發(fā)展。

在幾乎所有的神經(jīng)網(wǎng)絡(luò)中，都存在一個(gè)快速的活動(dòng)變化時(shí)間尺度。因此，當(dāng)輸入進(jìn)來(lái)后，活動(dòng)和嵌入向量都會(huì)發(fā)生變化，然后有一個(gè)緩慢的時(shí)間尺度會(huì)改變權(quán)重。這就是長(zhǎng)期學(xué)習(xí)。

你只有這兩個(gè)時(shí)間尺度。然而在大腦中，權(quán)重會(huì)改變的時(shí)間尺度很多。例如，我說(shuō)一個(gè)意想不到的詞，比如“黃瓜”，五分鐘后，你戴上耳機(jī)，會(huì)聽到很多噪音，而且單詞非常模糊，但你會(huì)更好地識(shí)別“黃瓜”這個(gè)詞，因?yàn)槲椅宸昼娗罢f(shuō)過(guò)這個(gè)詞。大腦中的這些知識(shí)是如何存儲(chǔ)的呢？這些知識(shí)，顯然是突觸的暫時(shí)變化，而不是神經(jīng)元在重復(fù)“黃瓜”這個(gè)詞。你沒(méi)有足夠的神經(jīng)元來(lái)做這件事。這是權(quán)重的暫時(shí)變化。你可以用暫時(shí)的權(quán)重變化做很多事情，我稱之為快速權(quán)重。

首頁(yè)上一頁(yè)...7 8 91011 12 13...全文共 18 頁(yè)下一頁(yè)

關(guān)閉

天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來(lái)，醫(yī)療將發(fā)揮AI最大的潛力(10)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)

天才創(chuàng)始人對(duì)談AI教父Hinton：多模態(tài)是AI的未來(lái)，醫(yī)療將發(fā)揮AI最大的潛力(10)