2月13日,一位英偉達(dá)代理商透露,春節(jié)后第一周,兩家中國科技企業(yè)為了支撐開源大模型DeepSeek的推理服務(wù),緊急采購了L20 GPU算力設(shè)備。與去年客戶下單時反復(fù)考慮和比價的情況不同,現(xiàn)在連庫存的禁售型號都被搶購一空。
DeepSeek的出現(xiàn)改變了市場對高性能GPU作為AI賽道核心的傳統(tǒng)看法,導(dǎo)致英偉達(dá)作為高性能GPU的主要供應(yīng)商被市場看空。但近期情況顯示,無論是高性能的H系列GPU還是RTX 40系列高端顯卡,英偉達(dá)的產(chǎn)品再次變得供不應(yīng)求。
目前,接入DeepSeek的企業(yè)已達(dá)數(shù)百家,涉及國內(nèi)云服務(wù)、互聯(lián)網(wǎng)、手機、芯片、金融、醫(yī)療、汽車等行業(yè)。迅速增長的用戶量為這些企業(yè)帶來了巨大收益:云服務(wù)借此兜售算力,芯片企業(yè)推廣產(chǎn)品,車企以更低的成本升級軟件,上市公司市值也得以提升。一家IT廠商表示,其調(diào)用DeepSeek的平臺在上線首日增加了上萬用戶,現(xiàn)有算力已經(jīng)無法滿足需求,團(tuán)隊不得不緊急調(diào)配更多英偉達(dá)GPU。
并行科技董事長陳健指出,當(dāng)前企業(yè)在DeepSeek模型推理過程中爆發(fā)了大量的算力需求。盡管市面上有十幾款國產(chǎn)GPU品牌,但在性能、穩(wěn)定性和生態(tài)方面仍與英偉達(dá)存在差距,因此英偉達(dá)卡仍然是企業(yè)的首選。
DeepSeek發(fā)布后,英偉達(dá)股價經(jīng)歷了過去一年來最大跌幅17%,但自2月3日起開始反彈,回升了13%。某國內(nèi)模型廠商人士認(rèn)為,DeepSeek的出現(xiàn)讓業(yè)界反思算力泡沫,但隨著提供和使用模型的個人及企業(yè)數(shù)量激增,大量模型推理再次推升了對英偉達(dá)卡的需求。
DeepSeek雖然展示了強大的推理能力和優(yōu)秀的文采,但提供服務(wù)所需的硬件配置非常高,至少需要兩臺H800卡才能運行。相比之下,大多數(shù)基礎(chǔ)模型只需要一臺4090卡就能運行。不過,開發(fā)者通常會將超過600B參數(shù)量的模型進(jìn)行蒸餾,壓縮到更低參數(shù)規(guī)模后再用于商業(yè)化。預(yù)計幾個月后完成蒸餾后,上線DeepSeek的企業(yè)可以節(jié)省一些推理算力。
馬斯克在直播中首次披露了Grok 3的訓(xùn)練成本,稱Grok 3訓(xùn)練過程累計消耗20萬塊英偉達(dá)GPU。訓(xùn)練工作在xAI公司的數(shù)據(jù)中心完成
2025-02-18 16:19:09Grok3訓(xùn)練成本