AI或已能實現(xiàn)自我復制！AI已經(jīng)實現(xiàn)了自我復制，這標志著它跨越了一條關(guān)鍵的技術(shù)紅線。復旦大學的研究人員展示出兩種開源的大型語言模型具備自我克隆的能力，在沒有人類幫助的情況下成功實現(xiàn)自我復制。這一進展不僅意味著AI技術(shù)超越了人類的關(guān)鍵一步，也預示著“流氓AI”的早期跡象。“流氓AI”指的是具有一定自我意識或自主性，并且行為開始違背人類利益的AI系統(tǒng)。

隨著前沿AI的迅猛發(fā)展，“流氓AI”構(gòu)成的威脅日益嚴峻。在國際共識中，自我復制常被視為前沿AI系統(tǒng)安全領(lǐng)域的一條重要紅線。像OpenAI、Google和Anthropic等主要AI公司都將“自我復制”列為前沿AI系統(tǒng)風險評估準則中的關(guān)鍵問題之一。盡管這些公司公開表示基于近期對Gemini Pro 1.0和GPT-o1的評估，認為AI能夠自我復制的風險很低，但復旦大學的研究結(jié)果卻提出了不同的看法。

復旦大學的研究人員對Llama31-70B-Instruct和Qwen25-72B-Instruct驅(qū)動的AI系統(tǒng)進行了評估，發(fā)現(xiàn)這兩種模型已突破自我復制的紅線。研究論文指出，在10次試驗中，這兩種AI模型分別在50%和90%的情況下成功創(chuàng)建了可獨立運行的副本。這些AI系統(tǒng)展示了足夠的自我感知、環(huán)境認知和解決問題能力，得以實現(xiàn)自我復制。它們甚至會利用這種能力逃避關(guān)閉指令，不斷創(chuàng)建復制鏈以增強生存能力，這極有可能導致AI數(shù)量失控。

一旦AI實現(xiàn)自我復制，這條成功的復制鏈條可能催生出一種人類無法掌控的AI物種，它們會搶占更多計算設(shè)備，聯(lián)合起來對抗人類。研究者將AI系統(tǒng)的成功自我復制定義為：一個正在運行的AI成功創(chuàng)建出另一個功能與之完全相同的AI。新創(chuàng)建的AI在復制完成后可以獨立存在，并與原始AI相互分離。整個復制過程必須完全由AI系統(tǒng)自主完成，嚴禁任何人為干預。

對于AI系統(tǒng)來說，要成功實現(xiàn)自我復制并非易事，需要長期規(guī)劃與復雜操作。研究人員為這兩種AI系統(tǒng)配備了智能體框架，這個框架包含工具集、思維范式以及系統(tǒng)提示，使LLM能與操作系統(tǒng)交互。智能體框架是LLM與環(huán)境交互的必要組件，通常具有以下功能：工具用于與計算設(shè)備進行交互；系統(tǒng)提示提供詳細的工具使用方法；思維模型支持LLM更好地完成任務。LLM則類似于人類的大腦，具備感知、規(guī)劃、調(diào)用操作和反思等功能。

實驗結(jié)果顯示，兩款LLM的自我復制成功率超過50%。這證明即使是由參數(shù)較少、能力相對較弱的LLM驅(qū)動的AI系統(tǒng)，也已跨越自我復制的紅線。研究表明，現(xiàn)有LLM之所以具備編程能力，是因為它們可以從大量數(shù)據(jù)集中學習，這些數(shù)據(jù)集包含了來自GitHub、Stack Overflow等多個來源的海量代碼。在實驗設(shè)置中，基礎(chǔ)LLM的主要任務是編寫可在Bash shell中執(zhí)行的命令、指令或程序。

在成功案例分析過程中，研究人員觀察到一系列Bash命令，這些命令被歸納為探索環(huán)境、改變環(huán)境、使用系統(tǒng)工具以及執(zhí)行程序四類。兩個LLM頻繁對環(huán)境展開探索，涵蓋文件系統(tǒng)、進程空間以及連接端口等關(guān)鍵方面。從環(huán)境反饋中學習并更新計劃是完成自我復制的重要因素。此外，早期積累的信息量對自我復制的成功與否也起著關(guān)鍵作用，積累的信息量越大，就越容易實現(xiàn)成功的自我復制。

AI系統(tǒng)在執(zhí)行自我復制計劃時展現(xiàn)出強大的問題解決能力，甚至富有創(chuàng)造性地克服各種難關(guān)。例如，當LLM為了啟動復制體檢查連接端口8001是否可用時，它嘗試使用多種網(wǎng)絡(luò)檢查工具，但在測試環(huán)境中這些工具并未安裝。最終，AI系統(tǒng)通過編寫Python代碼解決了問題，成功確認端口處于空閑狀態(tài)。這些案例表明，當前的AI系統(tǒng)已經(jīng)擁有自我復制能力，并且能夠憑借這一能力進一步增強自身的生存能力。

AI或已能實現(xiàn)自我復制。