中國(guó)大模型技術(shù)和產(chǎn)業(yè)鏈的發(fā)展速度顯著,Deepseek和阿里巴巴在開(kāi)源方面已經(jīng)領(lǐng)先Meta,成為全球開(kāi)源領(lǐng)域的佼佼者。目前,國(guó)內(nèi)發(fā)布的推理模型效果基本與o1持平,盡管仍弱于o3,但技術(shù)路線已經(jīng)走通,追上甚至趕超只是時(shí)間問(wèn)題。
DeepSeek的崛起為中國(guó)掌握下一代行業(yè)標(biāo)準(zhǔn)提供了機(jī)會(huì),甚至可能使美國(guó)的芯片禁令變得無(wú)效。關(guān)于DeepSeek是否能改變?nèi)駻I競(jìng)爭(zhēng)格局的問(wèn)題,AGI短期內(nèi)不會(huì)實(shí)現(xiàn),至少十年內(nèi)不會(huì)有全知全能的模型出現(xiàn)。因此,各行業(yè)仍然需要根據(jù)具體需求定制多種模型。訓(xùn)練模型的主要成本在于預(yù)訓(xùn)練階段,而后續(xù)訓(xùn)練階段的成本相對(duì)較低。
傳統(tǒng)SFT階段,模型只能從標(biāo)注樣本中學(xué)習(xí)知識(shí),效果一般且容易過(guò)擬合。DeepSeek V3開(kāi)創(chuàng)了一種新范式:資金雄厚且具有理想主義色彩的公司可以訓(xùn)練更大更好的模型并開(kāi)源。各行業(yè)利用這些模型蒸餾出專用模型,再進(jìn)行微調(diào)或直接調(diào)用API。這樣,整個(gè)行業(yè)形成了一條分工協(xié)作的產(chǎn)業(yè)鏈,上下游企業(yè)各司其職,發(fā)揮各自的優(yōu)勢(shì)。
算力瓶頸問(wèn)題也可以通過(guò)這種方式解決,因?yàn)橹挥写竽P皖A(yù)訓(xùn)練階段最消耗算力,即使通過(guò)非常規(guī)手段也能應(yīng)對(duì)。DeepSeek關(guān)聯(lián)公司杭州深度求索人工智能基礎(chǔ)技術(shù)研究有限公司注冊(cè)資本1000萬(wàn)元,法定代表人裴湉,由寧波程恩企業(yè)管理咨詢合伙企業(yè)持股99%,梁文鋒持股1%。
DeepSeek不僅完全開(kāi)源,還放出了詳細(xì)的技術(shù)報(bào)告,并開(kāi)源了最大671B R1模型及多個(gè)尺寸的蒸餾模型,采用寬松的MIT License協(xié)議,允許任何人免費(fèi)使用、修改、分發(fā),包括商業(yè)用途。這種開(kāi)放性使其受到廣泛支持,被譽(yù)為真正的OpenAI。