圖靈獎(jiǎng)得主:大語言模型發(fā)展接近瓶頸 缺乏真正推理能力!圖靈獎(jiǎng)得主、Meta首席AI科學(xué)家楊立昆在20日播出的“Big Technology Podcast”科技播客節(jié)目中,討論了當(dāng)前生成式AI難以做出科學(xué)發(fā)現(xiàn)的原因及未來AI的發(fā)展方向。他指出,大語言模型等現(xiàn)有AI技術(shù)基于文本訓(xùn)練并通過統(tǒng)計(jì)規(guī)律生成答案,無法創(chuàng)造新事物,存在局限性。人類能運(yùn)用常識(shí)和心理模型思考并解決新問題,這是AI大模型所不具備的能力。這些模型只是在大量文本數(shù)據(jù)上進(jìn)行訓(xùn)練以進(jìn)行檢索和生成,缺乏對(duì)物理世界的理解和抽象推理能力。
楊立昆認(rèn)為,當(dāng)前大語言模型的發(fā)展已接近瓶頸,訓(xùn)練數(shù)據(jù)的增長帶來的回報(bào)逐漸遞減,進(jìn)一步獲取數(shù)據(jù)不僅成本高昂,而且效果有限。僅僅通過擴(kuò)大大語言模型規(guī)模和增加訓(xùn)練數(shù)據(jù)無法實(shí)現(xiàn)人類水平的AI,因?yàn)榇竽P腿狈φ嬲耐评砟芰蛯?duì)物理世界的理解能力。他認(rèn)為,“真正的AI”需要理解物理世界,擁有持久的記憶,支持推理和規(guī)劃。
據(jù)報(bào)道,楊立昆曾在今年2月預(yù)測(cè),AI技術(shù)到2030年前將迎來進(jìn)一步的革命。然而,目前的AI系統(tǒng)依然受限,現(xiàn)有技術(shù)難以支撐家用機(jī)器人和自動(dòng)駕駛汽車。他正在研究一種新的系統(tǒng),旨在通過建立一個(gè)模型來預(yù)測(cè)物理世界的行為,從而幫助AI“理解”現(xiàn)實(shí)。他表示,如果能夠開發(fā)出像貓或老鼠一樣聰明的系統(tǒng),那就算是一大進(jìn)步。