5月17日消息，AI教父Geoffrey Hinton接受訪談。對談不僅涉及Hinton對大型神經(jīng)網(wǎng)絡(luò)、多模態(tài)學(xué)習(xí)、模擬計算、AI安全等技術(shù)發(fā)展的看法，還有其接觸人工智能的經(jīng)歷以及與Ilya初識的回憶。

訪談的提問者是一名天才創(chuàng)業(yè)者——Joel Hellermark。

Joel Hellermark

Joel是Sana AI的創(chuàng)始人兼首席執(zhí)行官，Sana是一家領(lǐng)先的人工智能公司，已從NEA、Menlo和EQT籌集了超過8000萬美元的融資。他在13歲時自學(xué)編程，16歲時創(chuàng)立了自己的第一家公司，開發(fā)了一個視頻推薦引擎。

官網(wǎng)截圖

對談要點(diǎn)整理如下：

初識Ilya時就覺得十分優(yōu)秀，Ilya很早就預(yù)測過Scaling Law是存在的。

下一個token預(yù)測能有效解釋大腦的學(xué)習(xí)機(jī)制，模型在學(xué)習(xí)過程中可以習(xí)得推理能力。

類比是創(chuàng)造力的源泉，而模型能挖掘事物之間的共有結(jié)構(gòu)，找到人類不曾注意的類比，進(jìn)而超越訓(xùn)練數(shù)據(jù)。

多模態(tài)能讓模型更好理解學(xué)習(xí)，并且能讓模型的空間推理能力更強(qiáng)，一定是提升AI能力的重要方向。

醫(yī)療將是AI應(yīng)用的最重要領(lǐng)域之一，AI的發(fā)展無法阻擋。

Ilya是完美的研究伙伴，他的直覺非常靈敏

Hinton：我想起當(dāng)時從英格蘭第一次來到卡內(nèi)基梅隆大學(xué)。是在英格蘭的研究部門，下午6點(diǎn)后一般都會去酒吧喝酒。但我來了幾周后的一個周六晚上，一個朋友都沒有，也不知道能做什么。我實驗室有要用的機(jī)器機(jī)，但家里沒有，所以決定去實驗室編程。

于是我在周六晚上9點(diǎn)左右來到實驗室，所有的學(xué)生都在那里，擠滿了人。他們都在那里。他們都相信自己在研究未來，接下來做的事情，將改變計算機(jī)科學(xué)的發(fā)展，這與英格蘭的情況完全不同。所以這令我耳目一新。

主持人：帶我回到最初在劍橋探索腦科學(xué)的日子。那時候什么感覺？

Hinton：說實話，很失望。我學(xué)的生理學(xué)，夏季學(xué)期教大腦的工作方式，結(jié)果只教了神經(jīng)元如何傳導(dǎo)動作電位。確實有趣，但并沒有說明白大腦究竟如何工作，所以我比較失望。我后面轉(zhuǎn)去學(xué)哲學(xué)，希望能學(xué)到思維是如何運(yùn)作的。但同樣失望。

我最后去愛丁堡大學(xué)學(xué)習(xí)人工智能，那更有趣。至少可以進(jìn)行模擬，可以測試?yán)碚摗?/p>

主持人：還記得開始是對人工智能的哪些方面感興趣嗎？有沒有特定的一篇論文或者科學(xué)家，讓你發(fā)現(xiàn)了有意思的點(diǎn)子。

Hinton：唐納德·赫布的一本書對我影響頗深。他對如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的連接強(qiáng)度非常感興趣。我還讀過約翰·馮·諾伊曼的一本書，關(guān)注大腦如何計算、大腦計算方式與普通計算機(jī)的差異。

主持人：你在愛丁堡的時候，覺得這些接觸到的想法以后會有用嗎？你那時候的直覺是怎樣的？

Hinton：在我看來，我們需要遵循大腦本身的學(xué)習(xí)方法。顯然，大腦不可能將所有東西先編程，然后使用邏輯推理，這從一開始就顯得不太對。所以必須弄清楚，大腦是如何學(xué)習(xí)調(diào)整神經(jīng)網(wǎng)絡(luò)中的連接，去處理復(fù)雜任務(wù)。馮·諾伊曼和圖靈都相信這一點(diǎn)，他們都非常擅長邏輯，但他們不相信這種邏輯方法。

主持人：學(xué)習(xí)神經(jīng)科學(xué)，僅僅做人工智能里的算法，你在二者之間如何分配精力的？你在早期受到了多少啟發(fā)？

Hinton：我對神經(jīng)科學(xué)研究不多，主要受到的啟發(fā)來自大腦的工作方式。大腦有一大堆神經(jīng)元，執(zhí)行相對簡單的操作，工作又是非線性的，但它們能接收輸入，進(jìn)行加權(quán)，然后在此基礎(chǔ)上輸出。問題是，到底如何改變權(quán)重使整個系統(tǒng)做一些厲害的事？這個問題看上去相當(dāng)簡單。

主持人：那個時候，你和誰有合作？

Hinton：我在卡內(nèi)基梅隆大學(xué)做研究，但主要合作者并不是卡內(nèi)基梅隆大學(xué)的。我與特倫斯·謝諾夫斯基（注：他與杰弗里·辛頓共同發(fā)明了玻爾茲曼機(jī)）往來比較多。他在巴爾的摩的約翰霍普金斯大學(xué)。應(yīng)該是每個月一次，要么他開車來匹茲堡，要么我開去巴爾的摩，距離是250英里。我們會用周末時間研究玻爾茲曼機(jī)。合作非常愉快，我們都相信這是大腦的工作方式，這是我做過的最令人興奮的研究。也許有很多成果也很棒，但我認(rèn)為那不是大腦的工作方式。

我還與彼得·布朗有很好的合作，他是優(yōu)秀的統(tǒng)計學(xué)家，IBM從事語音識別工作。所以，到卡內(nèi)基梅隆大學(xué)攻讀博士學(xué)位時，他作為學(xué)生已經(jīng)很成熟，已經(jīng)知道很多。他教了我很多關(guān)于語音的知識。事實上，他教了我關(guān)于隱馬爾可夫模型的知識。這就是我理想的學(xué)生：從他那里學(xué)到的，比我教他的還多。他教我隱馬爾可夫模型時，我正在使用帶有隱藏層的反向傳播。那時候還不叫隱藏層，但我決定使用馬爾可夫模型中的命名方式，這個叫法能很好地表示究竟在做什么的變量。總之，這就是神經(jīng)網(wǎng)絡(luò)中隱藏一詞的來源。

主持人：談?wù)処lya出現(xiàn)在你辦公室的時候吧。

Hinton：那時候我在辦公室，應(yīng)該是個周日，我在編程，然后有人敲門。敲門聲很急促，和一般敲門不太一樣。我開門發(fā)現(xiàn)是一個年輕的學(xué)生。他說整個夏天他都在炸薯條，但他更愿意在我的實驗室工作。所以我說，約個時間來聊聊？然后他說，不如就現(xiàn)在？Ilya就是這樣的人。于是我們聊了下，我給他一篇文章讀，是關(guān)于反向傳播的Nature期刊論文。

我們約定一周后再次見面，他回來了，他說他不太明白。我挺失望的，本來看起來蠻聰明。這只是鏈?zhǔn)椒▌t，理解它并不難。他說：不，我理解鏈?zhǔn)椒▌t，我只是不理解，為什么你不把梯度賦予一個合理的函數(shù)優(yōu)化器。好家伙，他提出的問題讓我們思考了好幾年。他總是是這樣，對問題的直覺非常好，總是能提出好的想法。

主持人：Ilya為什么有這種直覺？

Hinton：我不知道?；蛟S他總是獨(dú)立思考，很小就對人工智能感興趣。他也很擅長數(shù)學(xué)。但我不知道為什么他直覺那么準(zhǔn)。

主持人：你和他之間，合作分工是怎樣的？

Hinton：真是很有趣。記得有一次，我們試著用數(shù)據(jù)制作復(fù)雜的地圖，用的是一種混合模型，所以你可以使用相似性來制作兩張地圖，使得在一張地圖上，河岸可以靠近綠地，而在另一張地圖上，河岸可以靠近河流。因為在一張地圖上，你不能讓它同時靠近兩者，河流和綠地相距很遠(yuǎn)。所以有了混合地圖，我們在MATLAB中進(jìn)行操作，這涉及到對代碼進(jìn)行大量重組，進(jìn)行正確的矩陣乘法。

然后他就做得煩了。有一天他來找我說，我要為MATLAB編寫一個交互界面，就可以用另一種語言編程，然后把它轉(zhuǎn)換成MATLAB。我說，不，Ilya，那將花費(fèi)你一個月的時間。這個項目要繼續(xù)，不能被那個分散注意力。Ilya說，沒關(guān)系，我早上就做好了。

主持人：簡直不可思議！這些年來，最大的變化不僅僅體現(xiàn)在算法，還有規(guī)模。你如何看待？

Hinton：Ilya很早就看到這點(diǎn)，總是說，規(guī)模更大，表現(xiàn)更好。我之前總覺得站不住腳，新的想法還是需要的。但事實證明，他的判斷基本上是正確的。像Transformers這樣的算法確實很有用，但真正起作用的，是數(shù)據(jù)和計算的規(guī)模。當(dāng)時想象不到計算機(jī)會快上數(shù)十億倍，覺得快上一百倍了不得了，于是試著提出巧妙的想法來解決問題。然而，有更大的數(shù)據(jù)和計算規(guī)模，很多問題就迎刃而解了。

大約在2011年，Ilya和另一個叫James Martins的研究生與我合作，寫了一篇關(guān)于字符級預(yù)測的論文。使用維基百科，并試圖預(yù)測下一個HTML字符。用的是GPU上的一個很好的優(yōu)化器，效果出乎意料的好。我們從未真正相信它理解了任何東西，但它看起來又好像理解了，這似乎讓人難以相信。

神經(jīng)網(wǎng)絡(luò)不僅僅是記住訓(xùn)練數(shù)據(jù)，而是在“理解”，推理能力的提高指日可待

主持人：能解釋一下模型如何預(yù)測下一個單詞，以及這樣認(rèn)識他們?yōu)楹问清e誤的？

Hinton：好吧，我其實覺得這不算錯。

事實上，我認(rèn)為我制作了第一個使用嵌入和反向傳播的神經(jīng)網(wǎng)絡(luò)語言模型。數(shù)據(jù)非常簡單，只是三元組，將每個符號（Symbol）轉(zhuǎn)換為一個嵌入（embedding），然后讓嵌入相互作用以預(yù)測下一個符號的嵌入，然后從該嵌入中預(yù)測下一個符號，然后通過整個過程反向傳播以學(xué)習(xí)這些三元組。大約10年后，Yoshua Bengio（圖靈獎得主）使用非常相似的網(wǎng)絡(luò)，展示了它在真實文本上的效果。大約10年后，語言學(xué)家開始相信嵌入。這有一個發(fā)展的過程。

我認(rèn)為它不僅僅是預(yù)測下一個符號。

問一個問題，答案第一個單詞是下一個符號，那就必須理解這個問題。大多數(shù)人認(rèn)為的“自動填充”則是，看到不同的單詞出現(xiàn)在第三位的頻率，這樣就可以預(yù)測下一個符號。但其實不是這樣。

為了預(yù)測下一個符號，必須理解正在說什么。我們是通過讓它預(yù)測下一個符號，迫使它理解。很多人說，它們不像人類那樣推理，只是在預(yù)測下一個符號。但我認(rèn)為，它的理解方式像我們一樣。為了預(yù)測下一個符號，它必須進(jìn)行一些推理。現(xiàn)在已經(jīng)看到，你制作一個大的模型，不添加任何特殊的推理內(nèi)容，它們也已經(jīng)可以進(jìn)行一些推理。規(guī)模越大，它們未來能進(jìn)行的推理也更多。

主持人：現(xiàn)在除了預(yù)測下一個符號外，還做了其他什么嗎？

Hinton：這就是學(xué)習(xí)的方式。不管是預(yù)測下一個視頻幀，還是預(yù)測下一個聲音。我覺得這就是解釋大腦學(xué)習(xí)的十分合理的理論。

主持人：為什么這些模型能夠?qū)W習(xí)如此廣泛的領(lǐng)域？

Hinton：大語言模型所做的，是尋找事物之間共同的結(jié)構(gòu)?；诠餐Y(jié)構(gòu)對事物進(jìn)行編碼，這樣一來效率很高。

舉個例子。問GPT-4，為什么堆肥堆像原子彈？大多數(shù)人都無法回答這個問題，覺得原子彈和堆肥堆是非常不同的東西。但GPT-4會告訴你，盡管能量、時間尺度不同，但相同的是，堆肥堆變熱時會更快地產(chǎn)生熱量；原子彈產(chǎn)生更多的中子時，產(chǎn)生中子的速度也會隨之加快。這就引出了鏈?zhǔn)椒磻?yīng)的概念。通過這種理解，所有的信息都被壓縮到它自己的權(quán)重中。

這樣一來，它將能處理人類尚未見過的數(shù)百種類比，這些看似不相關(guān)的類比，正是創(chuàng)造力的源泉。我想，GPT-4變得更大時，創(chuàng)造力將非常高。如果只是覺得，它只在反芻學(xué)過的知識，只是將它已經(jīng)學(xué)過的文本拼湊在一起，那就小看它的創(chuàng)造力了。

主持人：你可能會說，它會超越人類的認(rèn)知。盡管我們看到了一些例子，但貌似尚未真正見到你說的這點(diǎn)。很大程度上，我們?nèi)匀惶幱诋?dāng)前的科學(xué)水平。你認(rèn)為什么能讓它開始有所超越呢？

Hinton：我覺得在特定情況中已經(jīng)看到這點(diǎn)了。以AlphaGo為例。與李世石的那場著名比賽中，AlphaGo的第37步，所有專家看來都覺得是錯棋，但后來他們意識到這又是一步妙棋。

這已經(jīng)是在那個有限的領(lǐng)域內(nèi)，頗具創(chuàng)造力的動作。隨著模型規(guī)模增加，這樣的例子會更多的。

主持人：AlphaGo的不同之處在于，它使用了強(qiáng)化學(xué)習(xí)，能夠超越當(dāng)前狀態(tài)。它從模仿學(xué)習(xí)開始，觀察人類如何在棋盤上博弈，然后通過自我對弈，最終有所超越。你認(rèn)為這是當(dāng)前數(shù)據(jù)實驗室缺少的嗎？

Hinton：我認(rèn)為這很可能有所缺失。AlphaGo和AlphaZero的自我對弈，是它能夠做出這些創(chuàng)造性舉動的重要原因。但這不是完全必要的。

很久以前我做過一個小實驗，訓(xùn)練神經(jīng)網(wǎng)絡(luò)識別手寫數(shù)字。給它訓(xùn)練數(shù)據(jù)，一半的答案是錯誤的。它能學(xué)得多好？你把一半的答案弄錯一次，然后保持這種狀態(tài)。所以，它不能通過只看同一個例子來把錯誤率平均。有時答案正確，有時答案錯誤，訓(xùn)練數(shù)據(jù)的誤差為50%。

但是你訓(xùn)練反向傳播，誤差會降到5%或更低。換句話說，從標(biāo)記不良的數(shù)據(jù)中，它可以得到更好的結(jié)果。它可以看到訓(xùn)練數(shù)據(jù)是錯誤的。

聰明的學(xué)生能比他們的導(dǎo)師更聰明。即使接收了導(dǎo)師傳授的所有內(nèi)容，但他們能取其精華去其糟粕，最終比導(dǎo)師更聰明。因此，這些大型神經(jīng)網(wǎng)絡(luò)，其實具有超越訓(xùn)練數(shù)據(jù)的能力，大多數(shù)人沒有意識到。

主持人：這些模型能夠獲得推理能力嗎？一種可能的方法是，在這些模型之上添加某種啟發(fā)式方法。目前，許多研究都在嘗試這種，即將一個思維鏈的推理反饋到模型自身中。另一種可能的方法是，在模型本身中增加參數(shù)規(guī)模。你對此有何看法？

Hinton：我的直覺告訴我，模型規(guī)模擴(kuò)大后，推理能力也能提升。

人們?nèi)绾喂ぷ?？大致來說，人類有直覺進(jìn)行推理，再用推理來糾正我們的直覺。當(dāng)然，在推理過程中也會使用直覺。假設(shè)推理的結(jié)論與直覺沖突，我們就會意識到需要糾正直覺。

這與AlphaGo或AlphaZero的工作方式類似，它們有一個評估函數(shù)，只需看一眼棋盤，然后判斷“這對我來說有多好？”但是，進(jìn)行蒙特卡羅推演時，你會得到一個更準(zhǔn)確的想法，你可以修改你的評估函數(shù)。因此，通過讓模型接受推理的結(jié)果，來對模型進(jìn)行訓(xùn)練。

大語言模型必須開始這樣做，必須開始通過推理，來訓(xùn)練模型的直覺，知道下一步做什么，并意識到什么是不對的。這樣，他們就可以獲得更多的訓(xùn)練數(shù)據(jù)，而不僅僅是模仿人類。這正是AlphaGo能夠做出第37步妙棋的原因，它擁有更多的訓(xùn)練數(shù)據(jù)，因為它使用推理來檢查下一步應(yīng)該是什么。

多模態(tài)讓模型學(xué)習(xí)更加容易，同時利于空間推理

主持人：你對多模態(tài)有何看法？我們談到了這些類比，而這些類比往往遠(yuǎn)遠(yuǎn)超出了我們所能看到的范圍。模型發(fā)現(xiàn)的類比遠(yuǎn)遠(yuǎn)超出了人類的能力，可能是在我們永遠(yuǎn)無法理解的抽象層面上?，F(xiàn)在，當(dāng)我們將圖像、視頻和聲音引入其中時，你認(rèn)為這會如何改變模型？你認(rèn)為它將如何改變，它能夠進(jìn)行的類比？

Hinton：這將帶來很大的改變。例如，它將使模型更好地理解空間事物。僅從語言角度來看，很難理解一些空間事物。盡管值得注意的是，即使在成為多模態(tài)之前，GPT-4也能做到這一點(diǎn)。但是，當(dāng)你讓模型成為多模態(tài)時，如果你讓它既能做視覺，又能伸手抓東西，它能拿起物體并翻轉(zhuǎn)它們等等，它就會更好地理解物體。因此，雖然可以從語言中學(xué)到很多東西，但如果是多模態(tài)，學(xué)習(xí)起來會更容易。事實上，需要的語言更少。

多模態(tài)模型顯然會占據(jù)主導(dǎo)地位。你可以通過這種方式獲得更多數(shù)據(jù)，它們需要的語言會更少。當(dāng)然，可以僅從語言中學(xué)習(xí)出一個非常好的模型，但從多模態(tài)系統(tǒng)中學(xué)習(xí)要容易得多。

主持人：你認(rèn)為這將如何影響模型的推理能力？

Hinton：我認(rèn)為它將使空間推理變得更好，例如，實際嘗試撿起物體，會得到各種有用的訓(xùn)練數(shù)據(jù)。

主持人：你認(rèn)為人類大腦的進(jìn)化服務(wù)于語言，還是說語言的進(jìn)步是服務(wù)于人類大腦？

Hinton：這是一個非常好的問題，我認(rèn)為兩者是共存的。我曾經(jīng)認(rèn)為，可以完全不需要語言去進(jìn)行大量的認(rèn)知活動，但現(xiàn)在我的想法有所改變。

那么，我將給出三種不同的語言觀點(diǎn)以及它們與認(rèn)知的關(guān)系。

一種觀點(diǎn)是陳舊的符號觀點(diǎn)，即認(rèn)知包括使用某種經(jīng)過清理的邏輯語言中的符號串，這些語言沒有歧義，并應(yīng)用推理規(guī)則。這就是認(rèn)知——只是對語言符號串之類的事物進(jìn)行符號操作。這是一種極端觀點(diǎn)。

另一種極端觀點(diǎn)是，一旦你進(jìn)入頭腦，它就全是向量。符號進(jìn)來了，把這些符號轉(zhuǎn)換成大向量，所有內(nèi)容都是用大向量完成的，然后想產(chǎn)生輸出，又會生成符號。2014年左右，機(jī)器翻譯中有一個說法，當(dāng)時人們使用循環(huán)神經(jīng)網(wǎng)絡(luò)，單詞會不斷進(jìn)入，它們會有一個隱藏狀態(tài)，它們會在這個隱藏狀態(tài)下不斷積累信息。因此，當(dāng)它們讀完一個句子時，它們會得到一個大的隱藏向量，它捕捉到了該句子的含義，然后可以用來生成另一種語言的句子。這被稱為思維向量。這是對語言的第二種看法——將語言轉(zhuǎn)換成一個與語言完全不同的大向量，這就是認(rèn)知的全部內(nèi)容。

第三種觀點(diǎn)，也是我現(xiàn)在所相信的，即你采用這些符號，將符號轉(zhuǎn)換成嵌入，并使用多層嵌入，這樣你就得到了這些非常豐富的嵌入。但是嵌入仍然與符號相關(guān)聯(lián)，從某種意義上說，你有一個用于這個符號的大向量，以及一個用于那個符號的大向量。這些向量相互作用，產(chǎn)生下一個單詞的符號的向量。這就是理解的本質(zhì)——知道如何將符號轉(zhuǎn)換成這些向量，并知道向量的元素應(yīng)該如何相互作用，從而預(yù)測下一個符號的向量。無論是在這些大型語言模型中，還是在我們的大腦中，理解就是這樣進(jìn)行的。這是一個介于兩者之間的例子。你繼續(xù)使用符號，但將它們解釋為這些大向量，這就是所有工作所在。所有的知識都在于你使用的向量以及這些向量的元素如何相互作用，而不是符號規(guī)則。

這并不是說，能完全擺脫符號。而是將符號變成大向量，保留符號的表面結(jié)構(gòu)。這就是這些模型的工作方式。在我看來，這也是人類思維比較合理的模型。

借助共享權(quán)重，數(shù)字系統(tǒng)的思維遷移十分高效

主持人：您是最早想到使用GPU的人之一，我知道Jensen（黃仁勛）很喜歡你。2009年你就告訴Jensen，這可能是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一個絕佳辦法。當(dāng)初要使用圖形處理單元（GPU）訓(xùn)練神經(jīng)網(wǎng)絡(luò)，您是怎么想的？

Hinton：記得在2006年，我有位研究生，是十分優(yōu)秀的計算機(jī)視覺專家。一次會議上，他建議我考慮使用圖形處理卡（GPU），因為它們在矩陣乘法方面表現(xiàn)出色，我所做的基本上都是矩陣乘法。我考慮了下，然后我們開始研究配備四個GPU的Tesla系統(tǒng)。

我們一開始只是購買了游戲用的GPU，發(fā)現(xiàn)它們將運(yùn)算速度提高了30倍。然后又買了一個配備四個GPU的Tesla系統(tǒng)，并在此基礎(chǔ)上進(jìn)行了一次公開匯報，效果非常好。2009年，我在NIPS會議上發(fā)表了演講，告訴在場的一千名機(jī)器學(xué)習(xí)研究人員：你們都應(yīng)該去購買NVIDIA的GPU，它們是未來，你們需要GPU進(jìn)行機(jī)器學(xué)習(xí)。

我還給NVIDIA發(fā)了一封郵件，說我已經(jīng)動員一千名機(jī)器學(xué)習(xí)研究人員去購買你們的卡，你們能不能送我一個？他們并沒有回復(fù)。但后來把這個故事告訴Jensen時，他免費(fèi)給了我一個（要顯卡，得直接找老板談）。

主持人：人工智能發(fā)展過程中，GPU其實也在發(fā)展。在計算領(lǐng)域，我們路在何方？

Hinton：我在谷歌的最后幾年里，其實一直在思考模擬計算。這樣，我們可以使用 30 瓦的功率（例如大腦），而不是使用一兆瓦的功率。我希望在模擬硬件中，運(yùn)行這些大型語言模型。雖然從來沒實現(xiàn)，但我開始真正重視數(shù)字計算。

使用低功耗的模擬計算，每個硬件部分都會有所不同，即需要學(xué)習(xí)利用特定硬件的屬性。這就是人們身上正在經(jīng)歷的。人和人的大腦都是不同的。我們不能將你大腦中的權(quán)重，放入我的大腦中。硬件不同，各個神經(jīng)元的精確屬性也不同。我們最后都會死去，我腦中的權(quán)重，對其他大腦也毫無用處。

我們可以很低效地將信息從一個人傳遞給另一個人。我寫句子，你想辦法改變你思維里的權(quán)重，你就會說同樣的話。這其實叫做提煉，但這種知識交流非常低效。

數(shù)字系統(tǒng)卻不同，它們不會死去。一旦有了一些權(quán)重，計算機(jī)這個殼就不重要了。只需將權(quán)重存儲在某個磁帶或者什么上，就可以把同樣的權(quán)重轉(zhuǎn)移進(jìn)另一臺計算機(jī)。如果是數(shù)字的，它就可以與其他系統(tǒng)一樣計算。所以，數(shù)字系統(tǒng)能夠以極高效率共享權(quán)重，甚至還能迭代。假設(shè)你有一大把數(shù)字系統(tǒng)，從相同的權(quán)重開始，各自進(jìn)行微量的學(xué)習(xí)，還能再次共享權(quán)重，這樣它們都能知道其他系統(tǒng)學(xué)到了什么，甚至完成了迭代。人類無法做到這一點(diǎn)，在知識共享上，數(shù)字系統(tǒng)比我們做得好太多。

主持人：許多已經(jīng)在該領(lǐng)域?qū)嵤┑南敕?，其實都是非常傳統(tǒng)的，因為這些想法在神經(jīng)科學(xué)中一直存在。那么，你認(rèn)為還有哪些想法可以應(yīng)用于我們正在開發(fā)的系統(tǒng)呢？

Hinton：因此，我們?nèi)孕枳汾s神經(jīng)科學(xué)的發(fā)展。

在幾乎所有的神經(jīng)網(wǎng)絡(luò)中，都存在一個快速的活動變化時間尺度。因此，當(dāng)輸入進(jìn)來后，活動和嵌入向量都會發(fā)生變化，然后有一個緩慢的時間尺度會改變權(quán)重。這就是長期學(xué)習(xí)。

你只有這兩個時間尺度。然而在大腦中，權(quán)重會改變的時間尺度很多。例如，我說一個意想不到的詞，比如“黃瓜”，五分鐘后，你戴上耳機(jī)，會聽到很多噪音，而且單詞非常模糊，但你會更好地識別“黃瓜”這個詞，因為我五分鐘前說過這個詞。大腦中的這些知識是如何存儲的呢？這些知識，顯然是突觸的暫時變化，而不是神經(jīng)元在重復(fù)“黃瓜”這個詞。你沒有足夠的神經(jīng)元來做這件事。這是權(quán)重的暫時變化。你可以用暫時的權(quán)重變化做很多事情，我稱之為快速權(quán)重。

我們的神經(jīng)模型并不會這樣做，原因是，對依賴于輸入數(shù)據(jù)的權(quán)重進(jìn)行臨時更改，則無法同時處理大量不同的情況。目前，我們采用大量不同的字符串，將它們堆疊在一起，然后并行處理它們，因為這樣我們可以進(jìn)行矩陣乘法，效率要高得多。正是這種效率，阻止了我們使用快速權(quán)重。但大腦顯然將快速權(quán)重用于臨時記憶。而且，你可以通過這種方式。做各種我們目前不做的事情。

我認(rèn)為這是你必須學(xué)習(xí)的最重要的事情之一。我非常希望像Graphcore（一家英國的AI芯片公司）這樣的設(shè)備，它們采用順序方式，并只進(jìn)行在線學(xué)習(xí)，那么它們就可以使用快速權(quán)重。但這還沒有奏效?；蛟S當(dāng)人們使用電導(dǎo)作為權(quán)重時，最終它會奏效。

官網(wǎng)截圖：https://www.graphcore.ai/

主持人：了解這些模型如何工作，了解大腦如何工作，對你的思維方式有何影響？

Hinton：多年來，人們非?？床黄鸫笮碗S機(jī)神經(jīng)網(wǎng)絡(luò)，只要給它大量的訓(xùn)練數(shù)據(jù)，它就會學(xué)會做復(fù)雜的事情的想法。你和統(tǒng)計學(xué)家或語言學(xué)家，或者大多數(shù)人工智能領(lǐng)域的人交談，他們會說，那只是一個白日夢。沒有某種先天知識，沒有很多架構(gòu)限制，模型就不可能學(xué)會真正復(fù)雜的事情。以為隨便用一個大型神經(jīng)網(wǎng)絡(luò)，就能從數(shù)據(jù)中學(xué)習(xí)一大堆東西——但這是完全錯誤的。

隨機(jī)梯度下降，即使用梯度反復(fù)調(diào)整權(quán)重，也可以學(xué)習(xí)非常復(fù)雜的東西，這些大型模型已經(jīng)證實了這一點(diǎn)。這是對大腦理解的一個重要觀點(diǎn)。大腦并不需要擁有所有的先天結(jié)構(gòu)。即使大腦確實擁有許多先天結(jié)構(gòu)，但對易于學(xué)習(xí)的事物，又并不需要這些先天結(jié)構(gòu)。

喬姆斯基的觀點(diǎn)是，只有當(dāng)知識本身無比扎實、成熟，才能學(xué)習(xí)像語言這樣復(fù)雜的事物。然而現(xiàn)在看來，這種觀點(diǎn)顯然很荒謬。

主持人：喬姆斯基會很高興看到你說他的觀點(diǎn)很荒謬。

Hinton：喬姆斯基的許多政治觀點(diǎn)非常明智。我很驚訝，為什么一個在中東問題上觀點(diǎn)如此明智的人，在語言學(xué)方面會犯如此大的錯誤。

主持人：你認(rèn)為什么會讓這些模型有效模擬人類的意識？現(xiàn)在的 ChatGPT 每次都從頭開始，刪除對話的記憶。如果有一個你一生中與之交談過的人工智能助手，它能自我反省。有一天，你去世了，你認(rèn)為助手在那個時候會有感覺嗎？

Hinton：我認(rèn)為他們也會有感覺。所以我認(rèn)為，就像我們有這種感知的內(nèi)在劇場模型一樣，我們也有一個感覺的內(nèi)在劇場模型。這些是我能體驗到的東西，但其他人卻不能。我認(rèn)為那個模型同樣是錯誤的。我認(rèn)為，假設(shè)我說，我想打Gary的鼻子，我經(jīng)常這樣做。讓我們試著從內(nèi)心劇場的概念中總結(jié)出這一點(diǎn)——我真正想告訴你的是，如果不是因為我的額葉受到抑制，我就會采取行動。所以當(dāng)談?wù)摳杏X時，我們實際上是在談?wù)摏]有限制的情況下會采取的行動。這就是感覺的真正含義——沒有限制時，我們會采取的行動。所以沒有理由說這些東西不能有感覺。

在 1973 年，我看到過有情感的機(jī)器人。他們在愛丁堡有一個帶有兩個夾子的機(jī)器人，如果你把零件分開放在一塊綠色毛氈上，它可以組裝一輛玩具車。但是你把零件堆在一起，機(jī)器人視力不夠，看不清零件。就會把夾子放在一起把零件敲散，再拼一起。要是看到一個人類這么做，你會說這個他不太理解情況，很生氣，所以才敲散了零件。

主持人：在我們之前的談話中，你把人類和LLM描述為擅長做類比機(jī)器（analogy machines）。你一生中發(fā)現(xiàn)的，最有力的類比是什么？

Hinton：我想可能對我影響很大的一種弱類比，是宗教和符號處理之間的類比。

我來自一個無神論家庭，我小時候上學(xué)時就面臨著宗教信仰。在我看來，這簡直是無稽之談。即使我再次審視，我仍然認(rèn)為這是無稽之談。有人將符號處理視為對人們工作方式時，我認(rèn)為這種觀點(diǎn)依然荒謬。

但我不認(rèn)為現(xiàn)在的觀點(diǎn)完全是荒謬的，我們確實在進(jìn)行符號處理，我們把大的嵌入向量賦予給符號。但不是像人們以為的那樣，單單匹配符號——符號的唯一屬性就是與另一個符號異同，讓這成為符號的唯一屬性。但我們并不是這樣做的。我們用上下文，為符號提供嵌入向量；借助嵌入向量組成部分之間的交互，我們才能進(jìn)行思考。

有位非常優(yōu)秀的谷歌研究員叫 Fernando Pereira。他認(rèn)為，我們確實在進(jìn)行符號推理，但唯一符號就是自然語言。我們把自然語言作為符號語言進(jìn)行推理。我現(xiàn)在覺得這很正確。

很難因為安全問題減緩AI研究，看好醫(yī)療保健應(yīng)用

主持人：你已經(jīng)進(jìn)行了一些計算機(jī)科學(xué)史上最有意義的研究。你能給我們講講，你是如何發(fā)現(xiàn)合適的研究問題的？

Hinton：首先，我要糾正你一下，是我和學(xué)生一起完成了很多有意義的研究。這離不開我與學(xué)生的良好合作，離不開我發(fā)現(xiàn)優(yōu)秀學(xué)生的能力。從70年代到本世紀(jì)初，研究神經(jīng)網(wǎng)絡(luò)的人不多。我作為少數(shù)研究神經(jīng)網(wǎng)絡(luò)的人，可以選到最優(yōu)秀的學(xué)生。這非常幸運(yùn)。

科學(xué)家都有自己的一套研究方法理論，雖然很多科學(xué)家會總結(jié)一套自己的研究方法理論，但是實際上他們不一定真的是這么做的。但我還是想說，我的理論是，我會尋找那些人人都贊同、但直覺又能感覺出有點(diǎn)不對的問題。然后我就把這個定為研究問題，看看我是否能深入，說清楚我認(rèn)為它是錯的原因。比如也許我能用一個小的計算機(jī)程序做個demo，說明大家的預(yù)期是錯的。

讓我舉一個例子。很多人認(rèn)為，給神經(jīng)網(wǎng)絡(luò)添加噪音會讓結(jié)果變得更糟。如果訓(xùn)練示例，讓一半的神經(jīng)元保持沉默，效果就會更糟。然而實際上，這樣做的話會帶來更好的泛化效果。你可以用一個簡單的例子來證明這一點(diǎn)。這就是計算機(jī)模擬的優(yōu)點(diǎn)。你可以證明，增加噪音會使情況變得更糟，去掉一半的神經(jīng)元，會使它工作得更糟。短期內(nèi)確實如此。但你這樣訓(xùn)練它，最終它會工作得更好。你可以用一個小型計算機(jī)程序來證明這一點(diǎn)，然后你可以認(rèn)真思考為什么會這樣，以及它如何阻止復(fù)雜的協(xié)同適應(yīng)。

這是我的研究方法。找到并研究那些看上去不可靠的事情，看看自己能否給出簡單demo，說明為什么錯誤。

主持人：你覺得現(xiàn)在有什么不可靠的點(diǎn)呢？

Hinton：我們不使用快速權(quán)重的做法，貌似不是很可靠，我們只有兩個時間尺度，這完全是錯誤的，一點(diǎn)不像大腦的工作方式。從長遠(yuǎn)來看，肯定要有更多的時間尺度。這只是一個例子。

主持人：我們談到了推理、時間尺度。假設(shè)一群學(xué)生來問你，你的領(lǐng)域中最重要的問題是什么？你又會給他們什么最值得研究的問題？

Hinton：對于我來說，現(xiàn)在的問題和我過去 30 年來一直存在的問題是一樣的，那就是大腦會進(jìn)行反向傳播嗎？我相信大腦會獲得梯度。你得不到梯度，你的學(xué)習(xí)效果就會比得到梯度時差很多。但是大腦是如何獲得梯度的？它是以某種方式實現(xiàn)某種近似版本的反向傳播，還是某種完全不同的技術(shù)？這是一個懸而未決的大問題。我繼續(xù)做研究的話，這就是我要研究的內(nèi)容。

主持人：當(dāng)你現(xiàn)在回顧你的研究生涯時，你會發(fā)現(xiàn)你在很多事情上都是對的。但是你在什么地方做錯了，以至于你希望自己花更少的時間？

Hinton：這是兩個獨(dú)立的問題。一是錯在什么地方，二是是否希望自己花更少的時間在這上面。

我認(rèn)為我對玻爾茲曼機(jī)的看法是錯誤的，我很高興我花了很長時間研究它。關(guān)于如何獲得梯度，有比反向傳播更漂亮的理論。反向傳播很普通，很明智，它只是一個鏈?zhǔn)椒▌t。玻爾茲曼機(jī)很聰明，它是一種獲取梯度的非常有趣的方法。我希望大腦也能這樣工作，但事實應(yīng)該并非如此。

主持人：您是否也花了很多時間想象，這些系統(tǒng)開發(fā)后會發(fā)生什么？您是否曾經(jīng)想過，我們能讓這些系統(tǒng)運(yùn)行良好，我們就能讓教育民主化，讓知識更容易獲得，解決醫(yī)學(xué)上的一些難題。對您來說，這更多的是了解大腦？

Hinton：科學(xué)家應(yīng)該做一些對社會有益的事情，但實際上這并不是開展研究的最佳方式。當(dāng)好奇心驅(qū)使時，您會進(jìn)行最好的研究。您只需要了解一些事情，僅此而已。

但最近，我意識到這些技術(shù)是把雙刃劍，開始更加擔(dān)心它們對社會的影響。但這不是我的研究動機(jī)。我只是想了解，大腦究竟是如何學(xué)習(xí)做事的？這正是我想要知道的。但我有點(diǎn)失敗了。作為失敗的副作用，我們得到了一些不錯的工程。

主持人：是的，這對世界來說是一次很好的“失敗”。從真正可能順利的事情的角度來看，你認(rèn)為最有前途的應(yīng)用是什么？

Hinton：醫(yī)療保健顯然會是很大的應(yīng)用。社會可以吸收的醫(yī)療保健幾乎是無窮無盡的。以一位老年人為例，他們可能需要五位全職醫(yī)生的照顧。因此，當(dāng)人工智能在某些領(lǐng)域的表現(xiàn)超過人類時，我們會期待它能在更多領(lǐng)域發(fā)揮更大的作用。這可能意味著我們需要更多的醫(yī)生。每個人都能擁有三位專屬的醫(yī)生，那將是極好的。我們有望實現(xiàn)這一目標(biāo)，這也是醫(yī)療保健領(lǐng)域的優(yōu)勢之一。

此外，新的工程項目和新材料的開發(fā)，例如用于改進(jìn)太陽能電池板或超導(dǎo)性能的材料，或者僅僅是為了更深入地了解人體的運(yùn)作機(jī)制，都將產(chǎn)生巨大的影響。這些都是積極的一面。

然而，我擔(dān)心有政治家可能會利用這些技術(shù)來做邪惡的事情，比如利用人工智能制造殺人機(jī)器人，操縱輿論或進(jìn)行大規(guī)模監(jiān)控。這些都是非常令人擔(dān)憂的問題。

主持人：你是否擔(dān)心，我們放慢這個領(lǐng)域的發(fā)展速度，也會阻礙其積極一面的發(fā)展？

Hinton：當(dāng)然，我有這樣的擔(dān)憂。我認(rèn)為這個領(lǐng)域的發(fā)展速度不太可能放慢，部分原因是它具有國際性。一個國家選擇放慢發(fā)展速度，其他國家并不會跟隨。因此，中國和美國之間顯然存在人工智能領(lǐng)域競爭，雙方都不會選擇放慢發(fā)展速度。有人提出我們應(yīng)該放慢六個月的發(fā)展速度，但我并未簽署這一提議，因為我認(rèn)為這種情況永遠(yuǎn)不會發(fā)生。盡管如此，我可能應(yīng)該簽署這一提議，因為即使這種情況永遠(yuǎn)不會發(fā)生，它也提出了一個政治觀點(diǎn)。為了表達(dá)觀點(diǎn)，有時候我們需要提出一些無法實現(xiàn)的要求，這往往是一種有效的策略。但我不認(rèn)為我們會放慢發(fā)展的步伐。

主持人：你認(rèn)為有了這些人工智能助手，會對 AI 研究過程產(chǎn)生什么影響？

Hinton：我認(rèn)為它們會大大提高研究效率。有了這些助手，AI研究將變得更加高效，它們不僅能幫助你編程，還能幫助你思考問題，甚至可能在各種方程式方面為你提供很大幫助。

建立自己的認(rèn)知框架對于獨(dú)立思考來說非常重要

主持人：你是否考慮過人才選拔的過程？這對你來說主要是依賴直覺嗎？例如，當(dāng)Ilya出現(xiàn)在門口時，你會覺得他很聰明，于是決定與他一起工作。

Hinton：在人才選拔方面，有時候你就是能感覺到。與Ilya交談不久后，我就覺得他非常聰明。再深入交談幾句，他的直覺、數(shù)學(xué)能力都非常出色，這讓我覺得他是理想的合作伙伴。

還有一次，我參加了一次NIPS會議。我們有一張海報，有人走過來，他開始詢問有關(guān)學(xué)術(shù)海報上的問題。他提出的每一個問題都深入地揭示了我們的錯誤。五分鐘后，我就給他提供了一個博士后職位。那個人就是 David McKay，他非常聰明。他去世了，這讓人感到非常遺憾，但他的才華是顯而易見的，你會希望能與他一起工作。然而，有時候，情況并不總是那么明顯。

我確實學(xué)到了一件事，那就是人與人是不同的。優(yōu)秀的學(xué)生并不只有一種類型。有些學(xué)生可能沒有那么有創(chuàng)造力，但他們在技術(shù)上非常強(qiáng)，能夠讓任何事情都成功。有些學(xué)生在技術(shù)上可能并不出色，但他們卻擁有極高的創(chuàng)造力。理想的情況下，我們希望找到的是既有技術(shù)實力又具備創(chuàng)造力的學(xué)生，但實際上，這樣的學(xué)生并不總是那么容易找到。然而，我認(rèn)為在實驗室環(huán)境中，我們需要的是各種不同類型的研究生。

我始終堅信我的直覺，有時候，你只需要和某人進(jìn)行一次交談，他們就能理解你的意思。這就是我們所期待的。

主持人：你是否曾經(jīng)思考過，為什么有些人的直覺會更強(qiáng)呢？他們是否只是比其他人擁有更好的訓(xùn)練數(shù)據(jù)？或者，你是如何培養(yǎng)自己的直覺的？

Hinton：我認(rèn)為，部分原因在于他們不允許胡說八道。因此，這里有一種獲取錯誤直覺的方式，那就是盲目相信你被告知的一切，這是非常危險的。我認(rèn)為有些人就是這樣做的。我覺得有獨(dú)立思考能力的人會有一個理解現(xiàn)實的完整框架。當(dāng)有人告訴他們某件事情時，他們會試圖弄清楚這件事如何融入他們的框架。無法融入，他們就會予以拒絕。這是一個非常好的策略。

那些試圖將他們被告知的一切都融入自己的框架的人，最終會得到一個非常模糊的框架，并且會相信一切。這是無效的。因此，我認(rèn)為，對世界有強(qiáng)烈的看法，并試圖操縱傳入的事實以符合自身觀點(diǎn)，是非常重要的。顯然，這可能會導(dǎo)致你陷入深刻的宗教信仰和致命缺陷等等，就像我對玻爾茲曼機(jī)器的信仰一樣。但我認(rèn)為這是正確的做法。

主持人：當(dāng)你看到今天正在進(jìn)行的研究類型時，你是否認(rèn)為我們把所有的雞蛋都放在一個籃子里，我們應(yīng)該在這個領(lǐng)域更加多樣化我們的想法？或者你認(rèn)為這是最有前途的方向然后全力以赴？

Hinton：我認(rèn)為擁有大型模型并在多模態(tài)數(shù)據(jù)上訓(xùn)練它們，即使只是為了預(yù)測下一個單詞，也是一種非常有前途的方法，我們應(yīng)該全力以赴。顯然，現(xiàn)在有很多人在做這件事。看到有很多人似乎在做瘋狂的事情，這很好。我認(rèn)為大多數(shù)人走這條路是可以的，它效果很好。

主持人：你認(rèn)為學(xué)習(xí)算法真的那么重要嗎，還是只是尺度之一？我們是否有數(shù)百萬種方法可以達(dá)到人類水平的智能，或者我們需要發(fā)現(xiàn)少數(shù)幾種？

Hinton：特定的學(xué)習(xí)算法是否非常重要，或者是否有各種各樣的學(xué)習(xí)算法可以完成這項工作，我不知道這個問題的答案。但在我看來，反向傳播某種意義上是正確的做法。獲得梯度以便更改參數(shù)使其更好地工作，這似乎是對的，而且它也取得了驚人的成功。

可能還有其他學(xué)習(xí)算法，它們是獲得相同梯度的替代方法，或者將梯度轉(zhuǎn)移到其他東西上，并且也有效。我認(rèn)為現(xiàn)在這一切都是開放的，也是非常有趣的問題，關(guān)于是否還有其他你可以嘗試和最大化利用的東西，可以為你提供良好的系統(tǒng)，也許大腦這樣做是因為這樣更容易。但反向傳播在某種意義上是正確的做法，我們知道這樣做效果很好。

主持人：最后一個問題，當(dāng)您回顧您幾十年的研究歷程，您最引以為豪的成就是什么？是你學(xué)生的成就嗎？或者是您的研究成果？在您的整個職業(yè)生涯中，您最引以為豪的是什么？

Hinton：我的回答是玻爾茲曼機(jī)的學(xué)習(xí)算法。這個算法非常優(yōu)雅，盡管在實踐中可能并不實用，但這是我和 Terry共同開發(fā)的過程中最享受的事情，也是我最引以為豪的成就，即使它可能是錯誤的。