Hinton:我的直覺告訴我,模型規(guī)模擴大后,推理能力也能提升。
人們?nèi)绾喂ぷ鳎看笾聛碚f,人類有直覺進行推理,再用推理來糾正我們的直覺。當然,在推理過程中也會使用直覺。假設(shè)推理的結(jié)論與直覺沖突,我們就會意識到需要糾正直覺。
這與AlphaGo或AlphaZero的工作方式類似,它們有一個評估函數(shù),只需看一眼棋盤,然后判斷“這對我來說有多好?”但是,進行蒙特卡羅推演時,你會得到一個更準確的想法,你可以修改你的評估函數(shù)。因此,通過讓模型接受推理的結(jié)果,來對模型進行訓練。
大語言模型必須開始這樣做,必須開始通過推理,來訓練模型的直覺,知道下一步做什么,并意識到什么是不對的。這樣,他們就可以獲得更多的訓練數(shù)據(jù),而不僅僅是模仿人類。這正是AlphaGo能夠做出第37步妙棋的原因,它擁有更多的訓練數(shù)據(jù),因為它使用推理來檢查下一步應該是什么。
多模態(tài)讓模型學習更加容易,同時利于空間推理
主持人:你對多模態(tài)有何看法?我們談到了這些類比,而這些類比往往遠遠超出了我們所能看到的范圍。模型發(fā)現(xiàn)的類比遠遠超出了人類的能力,可能是在我們永遠無法理解的抽象層面上?,F(xiàn)在,當我們將圖像、視頻和聲音引入其中時,你認為這會如何改變模型?你認為它將如何改變,它能夠進行的類比?
Hinton:這將帶來很大的改變。例如,它將使模型更好地理解空間事物。僅從語言角度來看,很難理解一些空間事物。盡管值得注意的是,即使在成為多模態(tài)之前,GPT-4也能做到這一點。但是,當你讓模型成為多模態(tài)時,如果你讓它既能做視覺,又能伸手抓東西,它能拿起物體并翻轉(zhuǎn)它們等等,它就會更好地理解物體。因此,雖然可以從語言中學到很多東西,但如果是多模態(tài),學習起來會更容易。事實上,需要的語言更少。
5月14日,OpenAI在春季發(fā)布會上揭曉了其最新的旗艦AI模型——GPT-4o,這一模型以“全知全能”為目標,實現(xiàn)了實時的語音、文本、圖像交互功能
2024-05-15 09:10:07OpenAI發(fā)布全新生成式AI模型GPT-4o微軟在新園區(qū)發(fā)布了一款專為AI體驗設(shè)計的Windows 11 AI PC新品,這款產(chǎn)品內(nèi)置的NPU芯片每秒運算能力超過40萬億次,能顯著提升AI應用性能
2024-05-21 15:48:2611