10月22日，未來生命研究所宣布，包括AI教父杰弗里·辛頓在內(nèi)的超過800名科技領(lǐng)袖及公眾人物共同簽署了一份倡議，呼吁在“超級智能”技術(shù)被科學(xué)界普遍認(rèn)定為可控、安全，并獲得公眾廣泛支持之前暫停其進(jìn)一步發(fā)展。這份聯(lián)合聲明的簽名名單中不僅有蘋果公司聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克和維珍集團(tuán)董事長理查·布蘭森等科技產(chǎn)業(yè)界大佬，還包括前美國國家安全顧問蘇珊·賴斯、前參謀長聯(lián)席會議主席邁克·馬倫以及英國王妃梅根和特朗普的盟友史蒂夫·班農(nóng)等人，顯示了對國家科技安全的嚴(yán)重?fù)?dān)憂。這種跨越政治立場的聯(lián)合極為罕見，顯示出超級AI的風(fēng)險議題已從學(xué)術(shù)圈蔓延至政治與社會治理層面，成為全球公共議題之一。

截至23日中午，這份聲明的簽署人數(shù)已經(jīng)超過3000人。在中國學(xué)術(shù)界，多位知名學(xué)者如姚期智、清華大學(xué)公共管理學(xué)院院長薛瀾、清華大學(xué)智能產(chǎn)業(yè)研究院院長張亞勤以及人工智能倫理與治理專家曾毅也參與了聯(lián)署。他們的參與呼應(yīng)了中國長期倡導(dǎo)的“安全、可靠、可控”和“以人為本”的人工智能發(fā)展理念。

簽名者們警告稱，超級智能的前景已經(jīng)引起了人們的關(guān)注，其影響從人類經(jīng)濟(jì)的落伍和權(quán)力的剝奪，自由、公民權(quán)利、尊嚴(yán)和控制權(quán)的喪失，到國家安全風(fēng)險，甚至可能導(dǎo)致人類滅絕。倡議明確指出，超級智能并非傳統(tǒng)意義上的“算法偏見”或“就業(yè)沖擊”問題，而是潛在的系統(tǒng)性風(fēng)險；一旦AI能力全面超越人類，其目標(biāo)函數(shù)若與人類利益錯位，可能導(dǎo)致不可逆的社會后果。

事實上，早在2023年，出于對AI的擔(dān)憂，包括馬斯克和斯蒂夫·沃茲尼亞克在內(nèi)的1000多名人工智能專家和行業(yè)高管就曾集體簽署過一份公開信，呼吁人類暫停開發(fā)更強(qiáng)大的人工智能至少6個月。而更早之前，著名物理學(xué)家霍金生前曾與多位科技界名人發(fā)表聯(lián)署公開信，表示人工智能對人類的威脅更甚于核武器。

參與本次聯(lián)署的北京前瞻人工智能安全與治理研究院院長、中國科學(xué)院自動化研究所研究員曾毅直言，世界尚未準(zhǔn)備好迎接不是可控工具的超級智能。目前我們還沒有堅實的科學(xué)證據(jù)和切實可行的方法來確保超級智能的安全，使其不會給人類帶來災(zāi)難性的風(fēng)險。所謂“超級智能”，是指在所有核心認(rèn)知任務(wù)上全面超越人類能力的人工智能形式。

曾毅認(rèn)為，如果以50年為限，超級智能一定會到來。當(dāng)超級智能到來的時候，人類是否能夠做好準(zhǔn)備是關(guān)鍵問題。他認(rèn)為，AI并不是中立的，人類的偏見、歧視、仇恨會被內(nèi)化到AI中，沒有任何一種構(gòu)造超級智能的方式是沒有風(fēng)險的。一旦選定了正確的方式去構(gòu)造AI，它的智能水平必然會超越人類，但與此同時，受益于正確價值護(hù)欄的超級智能也可以是超級利他的，超級共情的，因此他認(rèn)為擁有自我的AI才會令人類社會更安全。

曾毅還預(yù)測，未來的類腦智能體有可能會使用生物材料，與現(xiàn)在的智能體大多使用硅基材料不同。以前的智能體是存算分離的，而類腦智能的硬件可以存算一體。人們對超級智能體的擔(dān)憂因未知而充滿不確定性。

圖靈獎得主、深度學(xué)習(xí)三巨頭之一的約書亞·本吉奧也指出，要安全地邁向“超級智能”，我們必須通過科學(xué)手段設(shè)計出在根本上無法傷害人類的人工智能系統(tǒng)——無論是由于目標(biāo)偏差，還是被惡意利用。同時，他強(qiáng)調(diào)公眾應(yīng)在塑造人類共同未來的決策中擁有更強(qiáng)的話語權(quán)。

值得一提的是，發(fā)起本次倡議的未來生命研究所同期發(fā)布的一項美國全國性民意調(diào)查顯示，公眾對當(dāng)前人工智能的發(fā)展方向普遍不滿。僅有5%的受訪者支持目前“無監(jiān)管的AI開發(fā)現(xiàn)狀”，而高達(dá)73%的受訪者支持建立更為嚴(yán)格的監(jiān)管機(jī)制，另有64%的受訪者認(rèn)為，在科學(xué)界尚未就安全與可控性達(dá)成共識之前，不應(yīng)開發(fā)“超級智能”。

從宏觀趨勢看，AI風(fēng)險治理的國際分歧正在加劇。美國與歐盟正推動不同版本的“AI法案”，其中歐盟強(qiáng)調(diào)透明度與可追溯性，美國則側(cè)重市場自律與行業(yè)標(biāo)準(zhǔn)化。此次倡議或可推動G20或聯(lián)合國層面的技術(shù)倫理議題重啟，使AI治理從自律階段走向多邊協(xié)商階段。