DeepSeek如何以顛覆性訓(xùn)練策略重構(gòu)大型參數(shù)模型的成本公式?1月底,美國(guó)知名半導(dǎo)體咨詢機(jī)構(gòu)SemiAnalysis發(fā)布了一篇關(guān)于“給Deepseek算經(jīng)濟(jì)賬”的文章,引起了廣泛關(guān)注。近日,心智觀察所與SemiAnalysis的總裁Dylan Patel、資深分析師AJ Kourabi和David Wolfson就全球LLM模型競(jìng)爭(zhēng)生態(tài)、穿透算力軍備競(jìng)賽表象以及大模型博弈中數(shù)據(jù)、算法、資本的三重角力等問(wèn)題進(jìn)行了深入討論。
心智觀察所提到,SemiAnalysis早在去年五月就發(fā)現(xiàn)了DeepSeek在MoE、RoPE、Attention等領(lǐng)域的創(chuàng)新貢獻(xiàn)。SemiAnalysis表示,他們一直密切關(guān)注AI領(lǐng)域的創(chuàng)新和進(jìn)展,對(duì)DeepSeek取得的進(jìn)步印象深刻。大多數(shù)領(lǐng)先的AI實(shí)驗(yàn)室并沒(méi)有忽視DeepSeek——Anthropic的CEO公開(kāi)表示,他們從V2甚至更早的時(shí)候就開(kāi)始跟蹤DeepSeek的發(fā)展。大多數(shù)實(shí)驗(yàn)室都預(yù)計(jì)到了從V2到V3會(huì)有這種程度的改進(jìn),除了Meta。
心智觀察所詢問(wèn)了TCO模型(總計(jì)算成本)的搭建情況。SemiAnalysis回應(yīng)稱,他們開(kāi)發(fā)了自己獨(dú)有的解決方案,并與多家公司合作,提供咨詢服務(wù)以支持他們的集群建設(shè)。
對(duì)于Meta AI是否可能對(duì)Google搜索造成沖擊的問(wèn)題,SemiAnalysis認(rèn)為,Meta擁有直接接觸數(shù)十億日活躍用戶的能力,使他們能夠立即將大量用戶群體調(diào)用于他們引入的任何AI功能。
關(guān)于未來(lái)DeepSeek的競(jìng)爭(zhēng)態(tài)勢(shì),SemiAnalysis預(yù)計(jì)OpenAI憑借其在人才、基礎(chǔ)設(shè)施和資本方面的卓越資源,將保持領(lǐng)先地位。DeepSeek正在利用一種新范式,通過(guò)瞄準(zhǔn)低垂果實(shí)實(shí)現(xiàn)快速且成本效益高的進(jìn)展。然而,隨著格局的演變,保持這種勢(shì)頭將變得越來(lái)越具有挑戰(zhàn)性。同樣,他們也預(yù)計(jì)Google將保持領(lǐng)先地位。Anthropic擁有顯著優(yōu)于DeepSeek的模型,預(yù)計(jì)將在不久的將來(lái)公開(kāi)發(fā)布。Meta處于更具挑戰(zhàn)性的位置,因?yàn)樗麄兪俏ㄒ灰粋€(gè)致力于開(kāi)源其模型的主要實(shí)驗(yàn)室。據(jù)SemiAnalysis了解,Meta正在開(kāi)發(fā)一個(gè)新模型,預(yù)計(jì)其性能將超過(guò)DeepSeek,但改進(jìn)的程度是否足以證明推遲發(fā)布是合理的,這一點(diǎn)仍不確定。
心智觀察所還詢問(wèn)了DeepSeek的崛起對(duì)英偉達(dá)H200銷售預(yù)期的影響。SemiAnalysis表示,DeepSeek推動(dòng)了AI擴(kuò)展的創(chuàng)新,證明了戰(zhàn)略性優(yōu)化可以帶來(lái)有競(jìng)爭(zhēng)力的結(jié)果。他們的進(jìn)展增加了對(duì)AI基礎(chǔ)設(shè)施和計(jì)算資源的需求,同時(shí)加劇了頂級(jí)實(shí)驗(yàn)室之間的競(jìng)爭(zhēng),進(jìn)一步加速了該領(lǐng)域的進(jìn)展。
關(guān)于推理成本下降的問(wèn)題,SemiAnalysis認(rèn)為許多頂級(jí)AI實(shí)驗(yàn)室正在積極開(kāi)發(fā)針對(duì)降低成本的創(chuàng)新。當(dāng)競(jìng)爭(zhēng)對(duì)手提供更低的價(jià)格時(shí),供應(yīng)商不得不通過(guò)調(diào)整定價(jià)來(lái)應(yīng)對(duì)。通常,API定價(jià)策略會(huì)根據(jù)市場(chǎng)壓力和推動(dòng)成本下降的內(nèi)部進(jìn)展進(jìn)行調(diào)整。然而,在某些情況下,供應(yīng)商并沒(méi)有降低價(jià)格,而是擴(kuò)大了對(duì)替代性模型的訪問(wèn)。SemiAnalysis認(rèn)為“杰文斯悖論”并沒(méi)有被低估,并且他們之前的研究已經(jīng)廣泛覆蓋了這個(gè)話題。
對(duì)于OpenAI領(lǐng)導(dǎo)的“Stargate”計(jì)劃,SemiAnalysis指出,該計(jì)劃與芯片法案完全獨(dú)立,因?yàn)樗鼘W⒂跀U(kuò)展AI基礎(chǔ)設(shè)施,而不是對(duì)半導(dǎo)體制造端的激勵(lì)。雖然兩者都涉及大量資源動(dòng)員,但Stargate是一項(xiàng)私有部門的努力,旨在構(gòu)建先進(jìn)的AI系統(tǒng),而芯片法案是一項(xiàng)政府計(jì)劃,旨在提升國(guó)內(nèi)芯片產(chǎn)量。兩者之間沒(méi)有直接聯(lián)系。
最后,心智觀察所詢問(wèn)了SemiAnalysis的方法論及其團(tuán)隊(duì)規(guī)模和盈利模式。SemiAnalysis表示,他們的方法基于對(duì)制造業(yè)、供應(yīng)鏈、技術(shù)部署以及AI基礎(chǔ)設(shè)施戰(zhàn)略的嚴(yán)格研究。這項(xiàng)工作需要一個(gè)高度敬業(yè)的團(tuán)隊(duì),他們對(duì)技術(shù)和分析充滿熱情。隨著服務(wù)的擴(kuò)展,團(tuán)隊(duì)也在不斷壯大,目前約有25名分析師分布于北美、歐洲和亞洲。SemiAnalysis沒(méi)有“中央辦公室”,其盈利模式基于銷售行業(yè)和金融研究,客戶范圍從初創(chuàng)公司到全球財(cái)富100強(qiáng)公司,技術(shù)公司和投資公司各占一半。業(yè)務(wù)范圍包括簡(jiǎn)單的新聞通訊訂閱到與專門分析師進(jìn)行為期數(shù)月的咨詢服務(wù)等。