隨著AI技術(shù)的發(fā)展,從“算力時(shí)代”進(jìn)入“推理時(shí)代”,內(nèi)存需求激增,推動(dòng)了全球存儲(chǔ)公司的業(yè)績(jī)和股價(jià)上漲。然而,谷歌研究院發(fā)布的一篇關(guān)于名為TurboQuant的向量量化壓縮算法的文章,聲稱在不損失準(zhǔn)確率的情況下,將大模型運(yùn)行時(shí)的關(guān)鍵內(nèi)存占用壓縮至3比特(原有內(nèi)存占用的1/6),導(dǎo)致美國(guó)和韓國(guó)的內(nèi)存巨頭市值一天內(nèi)蒸發(fā)超過(guò)900億美元(約合人民幣6200億元)。
當(dāng)?shù)貢r(shí)間3月24日,谷歌發(fā)布了TurboQuant算法,宣稱該算法可以在不損失準(zhǔn)確性的情況下,將大型語(yǔ)言模型運(yùn)行時(shí)的關(guān)鍵部分——鍵值緩存(KV Cache)的內(nèi)存占用減少為原有的1/6,并且在英偉達(dá)H100GPU上的特定測(cè)試中,性能可提升高達(dá)8倍。這一消息迅速引發(fā)了市場(chǎng)對(duì)內(nèi)存需求的重新評(píng)估。
富國(guó)銀行分析師Andrew Rocha認(rèn)為,這項(xiàng)技術(shù)可能影響未來(lái)對(duì)內(nèi)存容量規(guī)格的需求判斷。他表示:“市場(chǎng)很快就會(huì)重新評(píng)估,AI究竟還需要多少內(nèi)存容量?!?/p>
隨后,存儲(chǔ)芯片板塊在盤中集體跳水。閃迪股價(jià)一度大跌6.5%,收盤時(shí)跌幅收窄至3.5%,市值損失36.3億美元;美光科技下跌3.4%,市值損失151.66億美元;西部數(shù)據(jù)下跌1.63%,市值損失16.64億美元;希捷科技下跌2.76%,市值損失21.4億美元。負(fù)面情緒還擴(kuò)散到了亞洲市場(chǎng),韓國(guó)SK海力士股價(jià)下跌6.23%,市值損失44.18萬(wàn)億韓元(約合293.8億美元);三星電子也下跌了4.71%,市值損失57.83萬(wàn)億韓元(約合384.5億美元)。全球主要內(nèi)存巨頭市值合計(jì)損失超過(guò)900億美元(約合人民幣6200億元)。
TurboQuant的核心在于其能夠大幅減少大模型中的KV緩存在推理過(guò)程中的內(nèi)存占用。在大模型推理過(guò)程中,模型需要保存歷史上下文信息形成KV緩存,以避免重復(fù)計(jì)算。但隨著上下文窗口增長(zhǎng),KV緩存呈線性膨脹,占用大量GPU內(nèi)存。例如,一個(gè)700億參數(shù)模型在512用戶、2048 Token輸入場(chǎng)景下,僅KV緩存就需約512GB內(nèi)存,約為模型本體的4倍,成為商業(yè)化部署中的最大成本之一。
11月25日晚,谷歌美股盤前大漲超4%,若開盤保持該漲幅,其總市值將首次突破4萬(wàn)億美元。此前,僅有英偉達(dá)、蘋果和微軟的總市值曾突破過(guò)4萬(wàn)億美元
2025-11-25 23:34:25谷歌市值沖擊四萬(wàn)億美元