Anthropic呼吁全員停止AI研究 擔(dān)憂技術(shù)失控風(fēng)險(xiǎn)。北京時(shí)間6月5日，大模型廠商Anthropic發(fā)布長(zhǎng)文稱，內(nèi)部觀察到Claude正在加速AI的發(fā)展，這可能是通往遞歸自我改進(jìn)的路徑，意味著AI能自主構(gòu)建下一代AI是完全可能的。Anthropic認(rèn)為，能夠自主迭代的AI是人類科技史上里程碑式的突破，能在生物醫(yī)藥、前沿科研等領(lǐng)域帶來巨大好處，但也可能讓對(duì)齊問題疊加惡化，最終導(dǎo)致失控。Anthropic建議世界選擇放慢或暫時(shí)停止前沿人工智能的發(fā)展，使社會(huì)結(jié)構(gòu)和價(jià)值觀對(duì)齊研究能夠跟上技術(shù)進(jìn)步。

這不是Anthropic第一次對(duì)AI發(fā)展進(jìn)行預(yù)警。今年2月，Anthropic發(fā)布了一份53頁報(bào)告，提到新模型已逼近4級(jí)AI風(fēng)險(xiǎn)等級(jí)，有朝一日AI可能會(huì)自我逃逸，造成全球失控。然而，這篇文章發(fā)布前，Anthropic剛秘密提交IPO文件，完成巨額融資，估值飆升。在這一背景下，文章立場(chǎng)顯得不夠中立。不少網(wǎng)友認(rèn)為這可能是Anthropic的營(yíng)銷和炒作手段，“為了籌款的演示文稿”。

沃頓商學(xué)院副教授Ethan Mollick轉(zhuǎn)發(fā)了Anthropic的帖子，認(rèn)為文章值得一讀，雖然其中有一些自省和營(yíng)銷內(nèi)容，但也包含很多Anthropic對(duì)AI近期和未來可能性的看法。

在文章中，Anthropic表示，一直以來都是人類主導(dǎo)了AI開發(fā)周期的每一個(gè)步驟，但在Anthropic，員工正在將越來越多的AI開發(fā)工作委托給AI系統(tǒng)本身，并加快了工作速度。如果這種趨勢(shì)發(fā)展到一定程度并擁有足夠的計(jì)算能力，那么AI系統(tǒng)最終將能夠完全自主地設(shè)計(jì)和開發(fā)自身的后續(xù)版本。盡管尚未達(dá)到這一目標(biāo)，但它的到來可能比大多數(shù)機(jī)構(gòu)的準(zhǔn)備時(shí)間要早。

Anthropic用了很多案例和數(shù)據(jù)來驗(yàn)證這一點(diǎn)。例如，現(xiàn)在Anthropic的工程師平均每個(gè)季度交付的代碼量是2021年至2025年期間的8倍。AI模型能夠獨(dú)立可靠完成的任務(wù)時(shí)長(zhǎng)大約每四個(gè)月翻一番，此前的趨勢(shì)是每七個(gè)月翻一番。截至2026年5月，Anthropic代碼庫中的代碼超過80%都由Claude生成。在難度最高的開放式任務(wù)中，Claude的成功率在2026年5月達(dá)到了76%，6個(gè)月內(nèi)提升了50個(gè)百分點(diǎn)。

文章提到，無論在工程領(lǐng)域還是研究領(lǐng)域，Claude都可以與經(jīng)驗(yàn)豐富的人類相媲美，甚至超越。人類只需提供目標(biāo)，Claude就能夠自主處理問題找到解決方法。不過，在工程和研究領(lǐng)域，Claude在選擇目標(biāo)的判斷能力仍然與人類存在巨大差距。這正是當(dāng)今AI與未來能夠自主設(shè)計(jì)自身后續(xù)系統(tǒng)的AI的差距所在。

如果繼續(xù)發(fā)展下去，未來AI的開發(fā)將高度自動(dòng)化，使用AI系統(tǒng)的組織將變得更加高效，生產(chǎn)力將得到顯著提升，100人的公司就能完成1萬人甚至10萬人的組織的工作量，這將徹底改變知識(shí)工作和政府服務(wù)，但也可能被用于有害目的。如果技術(shù)進(jìn)步的趨勢(shì)持續(xù)下去，AI系統(tǒng)有可能進(jìn)行自我設(shè)計(jì)和改進(jìn)。在這樣的世界里，AI發(fā)展的速度將完全取決于計(jì)算資源，人類作用大幅降低。

最大的不確定性在于價(jià)值觀對(duì)齊問題。如今模型中罕見的偏差可能會(huì)隨著模型構(gòu)建其后續(xù)版本而加劇，出現(xiàn)頻率越來越高，但人們對(duì)其理解卻越來越少，直至人類失去對(duì)它們的控制。Anthropic警告稱，目前的經(jīng)濟(jì)是由人類驅(qū)動(dòng)的，而未來可能會(huì)被AI所主導(dǎo)，如果人類勞動(dòng)力不再具有競(jìng)爭(zhēng)力，經(jīng)濟(jì)將會(huì)是什么樣很難預(yù)測(cè)。

Anthropic提出對(duì)于上述問題的解決辦法：如果能夠有效減緩這項(xiàng)技術(shù)的發(fā)展速度，從而為人類提供更多時(shí)間來應(yīng)對(duì)其巨大影響，這或許是一件好事。但這需要多個(gè)國(guó)家和多個(gè)位于前沿陣地且資源充足的實(shí)驗(yàn)室達(dá)成一致，在相同條件下停止研發(fā)。Anthropic表示將與眾多機(jī)構(gòu)合作去構(gòu)建能驗(yàn)證放緩或中止研發(fā)的系統(tǒng)，防止“惡意行為者利用協(xié)同放緩的契機(jī)搶占先機(jī)”。未來幾個(gè)月，Anthropic將組織一系列對(duì)話，邀請(qǐng)政策制定者、研究人員、社會(huì)組織等參與探討文章提出的一些問題和協(xié)商機(jī)制。

然而，Anthropic發(fā)布文章的時(shí)間點(diǎn)過于微妙。6月1日，Anthropic宣布已向美國(guó)證券交易委員會(huì)秘密提交了S-1草案，正式啟動(dòng)IPO。就在5月28日，Anthropic剛宣布完成高達(dá)650億美元的H輪融資，投后估值達(dá)到9650億美元（約合人民幣6.54萬億元），超越了競(jìng)爭(zhēng)對(duì)手OpenAI。在這一背景下，網(wǎng)友的態(tài)度分成了鮮明的兩派，有人認(rèn)為AI的能力確實(shí)進(jìn)步很大，但更多網(wǎng)友認(rèn)為Anthropic這一文章是為了籌款而營(yíng)銷、制造焦慮，“像是披著薄紗的自夸營(yíng)銷，用來為天文數(shù)字般的估值辯解”。

盡管爭(zhēng)議很大，但業(yè)界的一個(gè)共識(shí)是，人工智能的價(jià)值觀對(duì)齊與安全控制值得所有實(shí)驗(yàn)室認(rèn)真對(duì)待。Anthropic的預(yù)警也許摻雜了一些私心，但AI技術(shù)躍升帶來的風(fēng)險(xiǎn)也正在逼近，這值得深入研究。