Transformer是當(dāng)前大型語言模型發(fā)展的核心基礎(chǔ)，但也有不少頂尖研究者在探索其他路徑。這其中甚至包括Transformer的創(chuàng)造者之一、Sakana AI創(chuàng)始人兼CTO Llion Jones。他在一篇博客中表示，雖然他不認為應(yīng)該完全拋棄Transformer，但他個人正在大幅減少對它們的研究時間，并明確地尋找下一個目標(biāo)。他呼吁大家加大探索力度，不要局限于同一個地方，去尋找新的高峰。

與此同時，The Information報道了前OpenAI研究副總裁Jerry Tworek創(chuàng)立的新公司Core Automation。Tworek在OpenAI期間負責(zé)強化學(xué)習(xí)領(lǐng)域的工作，并對推理模型、編程工具和AI智能體開發(fā)做出了重要貢獻。知情人士透露，Core Automation成立僅幾周，目前正尋求5億至10億美元的融資。

根據(jù)向潛在投資者展示的材料，Tworek計劃采用與OpenAI、Anthropic等大廠不同的路徑來開發(fā)AI模型。他希望打造具備“持續(xù)學(xué)習(xí)”能力的模型，即能夠從現(xiàn)實世界的實踐中即時獲取知識?，F(xiàn)有AI模型尚不具備這種能力。他的創(chuàng)業(yè)計劃仍處于早期階段，融資規(guī)模和產(chǎn)品路徑可能發(fā)生變化。

事實上，Core Automation并非孤例，而是代表了一個雖小但日益壯大的群體。這些研究人員認為AI領(lǐng)域需要一場徹底變革。他們認為，當(dāng)前主流的模型開發(fā)技術(shù)雖然流行，但在生物、醫(yī)學(xué)等領(lǐng)域難以取得重大突破，且無法根除AI經(jīng)常犯低級錯誤的問題。

據(jù)了解，Tworek本月初離開OpenAI，以探索那些在OpenAI內(nèi)部難以推進的研究方向。在融資材料中，Core Automation表示仍將使用大型神經(jīng)網(wǎng)絡(luò)，但會重新審視模型開發(fā)的每一個環(huán)節(jié)，甚至包括訓(xùn)練神經(jīng)網(wǎng)絡(luò)的基本方法“梯度下降”。Tworek計劃開發(fā)一種對數(shù)據(jù)量和計算資源需求更低的模型，并通過構(gòu)建全新架構(gòu)取代現(xiàn)有的Transformer架構(gòu)。此外，他還希望將原本割裂的模型訓(xùn)練步驟整合為單一流程。

在追求“持續(xù)學(xué)習(xí)”的目標(biāo)上，Core Automation與另一家實驗室Safe Superintelligence（由前OpenAI首席科學(xué)家Ilya Sutskever共同創(chuàng)立）有相似愿景。Sutskever此前也表達了類似的想法，即希望模型能夠通過在現(xiàn)實世界中的部署不斷進化。此外，Meta離職的Yann LeCun也在探索類似的方向。

當(dāng)然，OpenAI和Anthropic等巨頭并未忽視“持續(xù)學(xué)習(xí)”。一些研究者認為，通過對現(xiàn)有基于Transformer的模型進行微調(diào)，同樣可以實現(xiàn)類似的學(xué)習(xí)特性，而無需徹底推倒重來。

媒體指出，Tworek宏大的融資目標(biāo)反映了資本市場對新實驗室的持續(xù)熱情。近幾個月來，許多此類初創(chuàng)公司盡管尚未產(chǎn)生收入或推出產(chǎn)品，卻能獲得數(shù)億美元的投資。例如，Humans&本月以44.8億美元的估值獲得了4.8億美元種子輪融資，投資者包括英偉達和貝佐斯；Mira Murati的Thinking Machines Lab最近也在洽談一筆40億至50億美元的融資，投后估值預(yù)計超過500億美元。相比之下，Thinking Machines進展更快，去年已推出了模型定制產(chǎn)品并產(chǎn)生了部分收入。

Tworek早在2019年就加入了OpenAI。在他的構(gòu)想中，Core Automation的研究團隊將圍繞一個名為“Ceres”的單一算法和模型展開工作。這與主流廠商的做法不同。通常，大型模型的訓(xùn)練會分為預(yù)訓(xùn)練、中期訓(xùn)練和針對特定領(lǐng)域的后期微調(diào)。按照Tworek的目標(biāo)，這款模型所需的數(shù)據(jù)量將比現(xiàn)有最先進模型少100倍。模型研發(fā)成功后，公司將開發(fā)AI智能體來自動化生產(chǎn)自己的產(chǎn)品，遠景規(guī)劃包括工業(yè)自動化，最終目標(biāo)甚至包括建造自我復(fù)制工廠、研制自動生成定制設(shè)計的生物機器，以及改造地外行星的生態(tài)。