研究：中美模型質(zhì)量差距縮小至0.3% AI競爭白熱化(2)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2025-04-09 14:42:47 IT之家

美國仍然是強大模型的最大生產(chǎn)國，2024年發(fā)布了40個模型，中國發(fā)布了15個，歐洲發(fā)布了3個。但許多其他地區(qū)也在加入這場競賽，包括中東、拉丁美洲和東南亞。塞爾曼說，2015年左右，中國走上了成為人工智能領(lǐng)域頂尖參與者的道路，他們通過教育投資實現(xiàn)了這一目標。我們看到這開始有了回報。

AI領(lǐng)域還出現(xiàn)了“開放權(quán)重”模型在數(shù)量和性能上的驚人增長，如DeepSeek和Meta的LLaMa。用戶可以自由查看這些模型在訓(xùn)練過程中學(xué)習(xí)到的并用于預(yù)測的參數(shù)，不過其他細節(jié)，如訓(xùn)練代碼，可能仍保密。最初，不公開這些因素的封閉系統(tǒng)明顯更優(yōu)越，但到2024年初，這些類別中頂級競爭者之間的性能差距縮小到了8%，到2025年初則縮小到了1.7%。

加利福尼亞州門洛帕克的非營利性研究機構(gòu)SRI的計算機科學(xué)家、該報告的聯(lián)合主任雷·佩羅特說，這對任何無力從頭構(gòu)建模型的人來說肯定是好事，包括許多小公司和學(xué)者。OpenAI計劃在未來幾個月內(nèi)發(fā)布一個開放權(quán)重模型。

2022年ChatGPT公開推出后，開發(fā)人員將大部分精力投入到通過擴大模型規(guī)模來提升系統(tǒng)性能上。這一趨勢仍在繼續(xù)：訓(xùn)練一個典型的領(lǐng)先人工智能模型所消耗的能源目前每年翻一番；每個模型使用的計算資源每五個月翻一番；訓(xùn)練數(shù)據(jù)集的規(guī)模每八個月翻一番。

然而，各公司也在發(fā)布性能非常出色的小型模型。例如，2022年在MMLU上得分超過60%的最小模型使用了5400億個參數(shù)；到2024年，一個模型僅用38億個參數(shù)就達到了相同的分數(shù)。小型模型比大型模型訓(xùn)練速度更快、回答問題更迅速，且能耗更低。佩羅特說，這對各方面都有幫助。

塞爾曼說，一些小型模型可以模仿大型模型的行為，或者利用比舊系統(tǒng)更好的算法和硬件。人工智能系統(tǒng)使用的硬件的平均能源效率每年提高約40%。由于這些進步，在MMLU上得分超過60%的成本大幅下降，從2022年11月的每百萬個token約20美元降至2024年10月的每百萬個token約7美分。

盡管在幾項常見的基準測試中取得了顯著進步，但該指數(shù)強調(diào)，生成式人工智能仍然存在一些問題，如隱性偏見和“幻覺”傾向，即吐出虛假信息。塞爾曼說，它們在很多方面給他留下了深刻印象，但在其他方面也讓他感到恐懼。它們在犯一些非常基本的錯誤方面讓他感到驚訝。

首頁上一頁 12共 2 頁

(責(zé)任編輯：張小花 TT1000)

關(guān)閉

研究：中美模型質(zhì)量差距縮小至0.3% AI競爭白熱化(2)

相關(guān)新聞

今日熱點

頻道熱點