算法沖破算力瓶頸 DeepSeek繼續(xù)開源推動AI普及與發(fā)展

小大

用微信掃描二維碼
分享至好友和朋友圈

關鍵詞：

2025-02-25 21:00:31 鈦媒體APP

2月24日和25日，DeepSeek先后宣布開源了FlashMLA代碼和DeepEP通信庫，致力于推動大模型的開源化進程。DeepSeek-R1模型的問世與開源為大模型行業(yè)帶來了新的希望，特別是在算力瓶頸方面。與其他廠商不同，DeepSeek不僅追求算力疊加，還通過算法創(chuàng)新解決了困擾行業(yè)的算力問題。

受DeepSeek影響，國內算力產業(yè)格局發(fā)生變化，AI服務器出貨量激增，能支持DeepSeek大模型應用的一體機也變得非常受歡迎，各大廠商紛紛布局，形成了競爭激烈的市場態(tài)勢。

自DeepSeek-R1 671B模型開源一個月后，DeepSeek啟動了“Open Source Week”，計劃在一周內開源五個代碼庫。2月24日，DeepSeek開源了FlashMLA代碼。這是一個MoE訓練加速框架，通過低秩矩陣壓縮KV緩存顯著減少內存占用和計算開銷，支持千億參數模型的高效訓練。浪潮信息相關負責人表示，相比主流的MHA和GQA算法，FlashMLA在不降低計算精度的情況下大幅減少了推理時的KV緩存占用，提升了推理效率。

FlashMLA專為英偉達Hopper GPU設計，優(yōu)化了可變長度序列處理，實現了接近H800理論峰值的性能。通過FlashMLA，用戶可以將H800的性能提升到H100的水平，同時降低了大模型部署成本，推動了大模型在各行業(yè)的落地。此外，FlashMLA的開源為國產GPU兼容CUDA生態(tài)提供了參考模板，促進了多廠商競爭格局的發(fā)展。

緊接著，2月25日，DeepSeek又宣布開源了DeepEP通信庫。這是第一個用于MoE模型訓練和推理的開源EP通信庫，支持低精度運算如FP8格式。DeepEP通過優(yōu)化All-to-All通信和支持NVLink/RDMA協(xié)議，實現節(jié)點內外高效數據傳輸，降低訓練和推理延遲。通過靈活的GPU資源調度，DeepEP在通信過程中并行執(zhí)行計算任務，顯著提升整體效率。

在DeepSeek開源之前，整個2024年，大模型行業(yè)都陷入了算力焦慮。高昂的算力成本讓許多企業(yè)望而卻步，但隨著DeepSeek-R1模型的問世和開源，市場熱情被重新點燃。除了EP通信庫和FlashMLA的優(yōu)化，DeepSeek還在多個方面進行了算法創(chuàng)新，顯著減少了模型對高算力硬件的依賴。例如，通過混合專家架構（MoE）和FP8訓練技術優(yōu)化計算效率，R1模型僅需2048塊GPU即可完成訓練，純算力訓練成本降至500多萬美元，遠低于傳統(tǒng)大模型的數億美元投入。

12 全文共 2 頁下一頁

關閉

算法沖破算力瓶頸 DeepSeek繼續(xù)開源 推動AI普及與發(fā)展

相關新聞

今日熱點

頻道熱點

算法沖破算力瓶頸 DeepSeek繼續(xù)開源推動AI普及與發(fā)展