傳統解決方案是通過量化,即用低精度數據替代高精度浮點數,但這往往犧牲準確率,且還需額外存儲量化參數,抵消部分壓縮收益。TurboQuant通過兩步優(yōu)化解決這一問題。首先,利用PolarQuant方法,將數據從笛卡爾坐標轉換為極坐標,簡化數據分布,從而無需額外量化參數,直接減少內存開銷。其次,再利用QJL技術,用僅僅1個比特來修正第一步壓縮后產生的微小誤差,確保最終結果的準確性。
谷歌表示,通過該組合方案,KV緩存可壓縮至3比特,內存占用減少為原有的1/6(降幅約83%);在Gemma、Mistral等模型測試中,性能與未壓縮模型一致,無需額外訓練或微調;在NVIDIA H100測試中,4比特TurboQuant注意力計算速度達到32位未量化的8倍。
盡管市場短期劇烈反應,但機構觀點明顯分化。有分析指出,谷歌所謂的“8倍性能提升”是與32位未量化模型對比得出,而當前主流已普遍采用4位量化,實際提升或低于宣傳值。Citrini Research分析師Jukan直言,因TurboQuant導致內存股暴跌,反映出市場對技術“一竅不通”。
摩根士丹利則指出,TurboQuant技術的影響范圍有限,僅作用于推理階段KV緩存,不影響模型權重,也不涉及訓練環(huán)節(jié)。因此,這并不意味著整體存儲需求下降到原來的1/6,而是提升單位硬件效率,讓相同的硬件能處理更長的上下文或服務更多用戶。摩根士丹利援引“杰文斯悖論”,認為效率提升往往不會減少資源消耗,反而會因成本下降而刺激需求增長。通過大幅降低單次查詢的服務成本,TurboQuant能夠讓原本只能在云端昂貴集群上運行的模型遷移至本地,有效降低AI規(guī)?;渴鸬拈T檻,這可能反而能進一步提振整體需求。
Cloudflare首席執(zhí)行官Matthew Prince將TurboQuant稱為谷歌的“DeepSeek時刻”。類似情況曾在DeepSeek發(fā)布時出現:市場一度擔憂算力需求下降,但最終AI應用爆發(fā),反而推高硬件需求。一開始下跌的英偉達后來再創(chuàng)歷史新高。
從行業(yè)規(guī)律來看,TurboQuant節(jié)省的內存不會閑置,而會被迅速消耗:每一輪硬件升級或軟件優(yōu)化釋放出來的存儲余量,很快就會被更長的上下文窗口、更大的批處理規(guī)模、更復雜的推理需求所吞噬。換言之,節(jié)省下來的空間將被用于服務更多并發(fā)請求、處理更長的文檔,或者運行原本因內存不足而無法加載的大模型,甚至可能推動更強大的AI應用在手機等移動設備上成為現實。
11月17日美股盤中,谷歌股價一度漲超5.5%,市值突破3.5萬億美元,創(chuàng)下歷史新高。截至發(fā)稿時,谷歌股價上漲5.22%,達到每股290.83美元
2025-11-20 09:49:57谷歌再創(chuàng)新高谷歌近日推出了一種新的壓縮算法TurboQuant,旨在降低人工智能系統的內存需求。該算法特別針對大語言模型和向量搜索引擎中的鍵值緩存瓶頸問題。隨著上下文窗口的增大,這些緩存成為主要的內存瓶頸
2026-03-27 22:13:44谷歌推出壓縮算法破解算力問題,降低模型所需的存算空間,可以通過多種途徑實現,比如減少訓練或推理時的算力需求。稀疏化、量化、壓縮和蒸餾等方法都是常用手段。不同企業(yè)和研究機構會根據各自的需求選擇不同的策略
2026-03-27 10:45:47谷歌公開最新極限壓縮算法11月25日晚,谷歌美股盤前大漲超4%,若開盤保持該漲幅,其總市值將首次突破4萬億美元。此前,僅有英偉達、蘋果和微軟的總市值曾突破過4萬億美元
2025-11-25 23:34:25谷歌市值沖擊四萬億美元