OpenAI CEO首次回應(yīng)馬斯克叫停GPT-4：尺寸是衡量模型的錯(cuò)誤標(biāo)準(zhǔn) 公開信缺失最為關(guān)鍵的技術(shù)細(xì)節(jié)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2023-04-15 17:23:02 界面新聞

美國當(dāng)?shù)貢r(shí)間周四，OpenAI的首席執(zhí)行官山姆·阿爾特曼在麻省理工Imagination in Action活動中通過Zoom接受了采訪，首次對馬斯克等人聯(lián)名簽署的公開信作出回應(yīng)。

這位風(fēng)口浪尖之上的OpenAI首席執(zhí)行官表示，他對信中的部分主旨“真的同意”。

但他認(rèn)為這封公開信缺失最為關(guān)鍵的技術(shù)細(xì)節(jié)，例如“到底我們需要在何處按下暫停鍵”，阿爾特曼透露了一個(gè)重要信息，他稱公開信的更早期版本聲稱OpenAI目前正在訓(xùn)練GPT-5，但他們沒有，并且在一段時(shí)間內(nèi)不會，“所以從這個(gè)意義上說，這有點(diǎn)傻。”阿爾特曼坦言。

他還表示，OpenAI正在開發(fā)GPT-4的附加功能，這些功能帶來了安全問題，需要加以解決，但公開信中并未提到。一般來說，“隨著能力越來越高，安全標(biāo)準(zhǔn)也必須提高，”首席執(zhí)行官在數(shù)分鐘的Zoom采訪中言辭溫和審慎。

“我們在完成對GPT-4的訓(xùn)練和發(fā)布之間花了超過6個(gè)月的時(shí)間......這些時(shí)間都花在安全性研究上，”山姆·阿爾特曼認(rèn)為，他非常高興GPT-4發(fā)布后，人們評價(jià)說這是到目前為止最安全的和最強(qiáng)一致性的模型，“而非能力最強(qiáng)的模型”。

尤為關(guān)鍵的是，在這次麻省理工活動中，阿爾特曼強(qiáng)調(diào)，尺寸是衡量模型質(zhì)量的錯(cuò)誤標(biāo)準(zhǔn)，他認(rèn)為業(yè)界正在接近大語言模型LLM規(guī)模的極限，為規(guī)模而規(guī)模。他直言，已經(jīng)有太多的人關(guān)注參數(shù)數(shù)字，也許參數(shù)還會有上升趨勢，但這讓他想起了20世紀(jì)90年代的芯片千兆赫茲競賽，“每個(gè)人都試圖指向一個(gè)大數(shù)字?！?/p>

他進(jìn)一步指出了小模型的重要性，他認(rèn)為未來模型參數(shù)應(yīng)該向更小的方向發(fā)展，以多個(gè)小模型協(xié)作的方式工作，人們應(yīng)該把精力放在迅速提高模型能力上，而不是在這里為參數(shù)計(jì)數(shù)而自娛自樂。

事實(shí)上，不盲目追求大模型參數(shù)數(shù)量已成為技術(shù)界共識。創(chuàng)新奇智聯(lián)合創(chuàng)始人兼首席技術(shù)官張發(fā)恩日前告訴記者，雖然GPT3.5的模型參數(shù)為1750億，使用數(shù)千張GPU無卡訓(xùn)練數(shù)月，但面對一個(gè)同樣規(guī)模參數(shù)的大模型，其訓(xùn)練的精度其實(shí)在快速下降，“同樣規(guī)模的模型算力可能只需要原來的幾十分之一就能做到，這讓我們覺得未來是樂觀的，可以不去做‘軍備競賽’?！?/p>

12 全文共 2 頁下一頁

關(guān)閉

OpenAI CEO首次回應(yīng)馬斯克叫停GPT-4：尺寸是衡量模型的錯(cuò)誤標(biāo)準(zhǔn) 公開信缺失最為關(guān)鍵的技術(shù)細(xì)節(jié)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)