馬斯克評(píng)論稱：“有趣的分析。我所見過的最好的?！薄癆I 將無處不在?！?/p>

關(guān)于 DeepSeek r1 的真相與細(xì)節(jié)，該應(yīng)用在相關(guān) App Store 類別中下載量排名第一，領(lǐng)先于 ChatGPT，并且超過了 Gemini 和 Claude 的表現(xiàn)。從質(zhì)量角度看，它與 o1 相當(dāng)，但不及 o3。r1 實(shí)現(xiàn)了真正的算法突破，在訓(xùn)練和推理方面都顯著提高了效率。FP8 訓(xùn)練、MLA 和多 token 預(yù)測(cè)都有重要意義。盡管其訓(xùn)練成本僅為 600 萬美元，但這數(shù)字可能具有誤導(dǎo)性。即使硬件架構(gòu)新穎，值得注意的是他們使用 PCI-Express 進(jìn)行擴(kuò)展。

根據(jù)技術(shù)論文，600 萬美元并不包括前期研究和架構(gòu)、算法及數(shù)據(jù)消融實(shí)驗(yàn)的成本。這意味著只有在實(shí)驗(yàn)室已經(jīng)在前期研究上投入數(shù)億美元并且能夠訪問更大規(guī)模集群的情況下，才能以 600 萬美元的成本訓(xùn)練出 r1 質(zhì)量的模型。DeepSeek 顯然擁有遠(yuǎn)超 2048 個(gè) H800 的算力；早期的一篇論文提到擁有 10000 個(gè) A100 的集群。一個(gè)同樣聰明的團(tuán)隊(duì)不可能僅憑 600 萬美元就能啟動(dòng) 2000 個(gè) GPU 集群并從頭開始訓(xùn)練 r1。大約 20% 的 Nvidia 收入來自新加坡，但 20% 的 Nvidia GPU 可能并不在新加坡。存在大量的知識(shí)蒸餾，如果沒有對(duì) GPT-4o 和 o1 的無障礙訪問，他們可能無法完成這個(gè)訓(xùn)練。限制前沿 GPU 的訪問權(quán)限卻不對(duì)中國(guó)蒸餾美國(guó)前沿模型的能力采取任何措施，這顯然違背了出口限制的目的。

DeepSeek r1 確實(shí)具有重要意義，尤其在推理成本上比 o1 低得多且效率更高，這比 600 萬美元的訓(xùn)練成本更具意義。r1 的每次 API 調(diào)用成本比 o1 低 93%，可以在高端工作站上本地運(yùn)行，而且似乎沒有遇到任何速率限制。簡(jiǎn)單計(jì)算一下，每 10 億個(gè)活躍參數(shù)在 FP8 下需要 1GB 的 RAM，因此 r1 需要 37GB 的 RAM。批處理大大降低了成本，更多的計(jì)算能力增加了每秒 token 數(shù)，所以云端推理仍然具有優(yōu)勢(shì)。這里還存在真正的地緣政治動(dòng)態(tài)，“Stargate”之后發(fā)布并非巧合。

降低訓(xùn)練成本將提高 AI 的投資回報(bào)率。短期內(nèi)，這對(duì)訓(xùn)練資本支出或“能源”主題不會(huì)產(chǎn)生積極影響。目前“AI 基礎(chǔ)設(shè)施”贏家面臨的最大風(fēng)險(xiǎn)是：r1 的精簡(jiǎn)版本可以在高端工作站（如 Mac Studio Pro）上本地運(yùn)行，意味著類似的模型將在約 2 年內(nèi)可以在高性能手機(jī)上運(yùn)行。如果推理計(jì)算轉(zhuǎn)移到邊緣設(shè)備是因?yàn)椤皦蛴昧恕?，那么我們將面臨一個(gè)截然不同的世界，出現(xiàn)不同的贏家——即我們將見證有史以來最大規(guī)模的 PC 和智能手機(jī)升級(jí)周期。人工超級(jí)智能已經(jīng)非常接近，但沒有人真正知道超級(jí)智能的經(jīng)濟(jì)回報(bào)會(huì)是什么。如果一個(gè)耗資 1000 億美元、在 10 萬多個(gè) Blackwells 上訓(xùn)練的推理模型能夠治愈癌癥和發(fā)明曲速引擎，那么 ASI 的回報(bào)將非常高，訓(xùn)練資本支出和能源消耗將穩(wěn)步增長(zhǎng)。這對(duì)于使用 AI 的公司都非常有利，極大地提升了分發(fā)渠道和獨(dú)特?cái)?shù)據(jù)的價(jià)值。美國(guó)的實(shí)驗(yàn)室可能會(huì)停止發(fā)布其前沿模型，以防止對(duì) r1 至關(guān)重要的知識(shí)蒸餾。

Grok-3 的出現(xiàn)可能會(huì)顯著影響上述結(jié)論。這將是自 GPT-4 以來首次對(duì)預(yù)訓(xùn)練擴(kuò)展定律的重要測(cè)試。就像通過強(qiáng)化學(xué)習(xí)將 v3 轉(zhuǎn)變?yōu)?r1 一樣，提高 Grok-3 的推理能力也可能需要幾周時(shí)間。基礎(chǔ)模型越好，推理模型就越好，因?yàn)槿齻€(gè)擴(kuò)展定律是相乘的。Grok-3 已經(jīng)表明它可以完成超出 o1 的任務(wù)，超出多少將變得很重要。