电竞下注-中国电竞赛事及体育赛事平台

中華網(wǎng) china.com

算法沖破算力瓶頸 DeepSeek繼續(xù)開源 推動AI普及與發(fā)展

關(guān)鍵詞:
2025-02-25 21:00:31  鈦媒體APP

2月24日和25日,DeepSeek先后宣布開源了FlashMLA代碼和DeepEP通信庫,致力于推動大模型的開源化進程。DeepSeek-R1模型的問世與開源為大模型行業(yè)帶來了新的希望,特別是在算力瓶頸方面。與其他廠商不同,DeepSeek不僅追求算力疊加,還通過算法創(chuàng)新解決了困擾行業(yè)的算力問題。

受DeepSeek影響,國內(nèi)算力產(chǎn)業(yè)格局發(fā)生變化,AI服務(wù)器出貨量激增,能支持DeepSeek大模型應(yīng)用的一體機也變得非常受歡迎,各大廠商紛紛布局,形成了競爭激烈的市場態(tài)勢。

自DeepSeek-R1 671B模型開源一個月后,DeepSeek啟動了“Open Source Week”,計劃在一周內(nèi)開源五個代碼庫。2月24日,DeepSeek開源了FlashMLA代碼。這是一個MoE訓(xùn)練加速框架,通過低秩矩陣壓縮KV緩存顯著減少內(nèi)存占用和計算開銷,支持千億參數(shù)模型的高效訓(xùn)練。浪潮信息相關(guān)負責(zé)人表示,相比主流的MHA和GQA算法,F(xiàn)lashMLA在不降低計算精度的情況下大幅減少了推理時的KV緩存占用,提升了推理效率。

FlashMLA專為英偉達Hopper GPU設(shè)計,優(yōu)化了可變長度序列處理,實現(xiàn)了接近H800理論峰值的性能。通過FlashMLA,用戶可以將H800的性能提升到H100的水平,同時降低了大模型部署成本,推動了大模型在各行業(yè)的落地。此外,F(xiàn)lashMLA的開源為國產(chǎn)GPU兼容CUDA生態(tài)提供了參考模板,促進了多廠商競爭格局的發(fā)展。

緊接著,2月25日,DeepSeek又宣布開源了DeepEP通信庫。這是第一個用于MoE模型訓(xùn)練和推理的開源EP通信庫,支持低精度運算如FP8格式。DeepEP通過優(yōu)化All-to-All通信和支持NVLink/RDMA協(xié)議,實現(xiàn)節(jié)點內(nèi)外高效數(shù)據(jù)傳輸,降低訓(xùn)練和推理延遲。通過靈活的GPU資源調(diào)度,DeepEP在通信過程中并行執(zhí)行計算任務(wù),顯著提升整體效率。

在DeepSeek開源之前,整個2024年,大模型行業(yè)都陷入了算力焦慮。高昂的算力成本讓許多企業(yè)望而卻步,但隨著DeepSeek-R1模型的問世和開源,市場熱情被重新點燃。除了EP通信庫和FlashMLA的優(yōu)化,DeepSeek還在多個方面進行了算法創(chuàng)新,顯著減少了模型對高算力硬件的依賴。例如,通過混合專家架構(gòu)(MoE)和FP8訓(xùn)練技術(shù)優(yōu)化計算效率,R1模型僅需2048塊GPU即可完成訓(xùn)練,純算力訓(xùn)練成本降至500多萬美元,遠低于傳統(tǒng)大模型的數(shù)億美元投入。

DeepSeek在MoE架構(gòu)方面的創(chuàng)新包括使用共享專家和路由專家兩種專家,提升了模型訓(xùn)練效率。此外,采用FP8混合精度技術(shù)替代傳統(tǒng)高精度運算,降低了內(nèi)存需求并提升了計算性能。DeepSeek還摒棄了傳統(tǒng)的監(jiān)督學(xué)習(xí)微調(diào),采用純強化學(xué)習(xí)策略直接優(yōu)化推理能力,通過群體獎勵優(yōu)化技術(shù)動態(tài)調(diào)整模型輸出。

這些革新將推動算力需求的結(jié)構(gòu)性增長,低成本模型加速了AI應(yīng)用普及,推理算力需求將呈指數(shù)級增長。業(yè)內(nèi)多位專家認為,DeepSeek的技術(shù)突破不僅體現(xiàn)在性能指標(biāo)上,更通過效率與成本的平衡推動了AI技術(shù)的普惠化。據(jù)IDC數(shù)據(jù)顯示,2024年全球人工智能服務(wù)器市場規(guī)模將達到1251億美元,2028年有望達到2227億美元。

在中國市場,智能算力規(guī)模預(yù)計將在2028年達到2781.9EFLOPS。DeepSeek的出現(xiàn)帶動了算力市場的變革和發(fā)展,尤其是推理算力市場需求激增。DeepSeek降低了大模型的應(yīng)用開發(fā)成本,讓更多中小用戶能夠接觸到這項技術(shù)。單機部署解決方案使得他們能夠以較低的成本和更簡單的部署方式使用大模型。

DeepSeek推動了算力基礎(chǔ)設(shè)施的發(fā)展,各大廠商推出了相關(guān)的一體機產(chǎn)品。例如,聯(lián)想、浪潮云、神州鯤泰等公司均推出了適配DeepSeek模型的一體機。算力服務(wù)模式也在從傳統(tǒng)IaaS向MaaS升級,預(yù)置DeepSeek優(yōu)化模型提供端到端解決方案,降低了客戶算力采購復(fù)雜度。目前正處于服務(wù)形態(tài)向MaaS轉(zhuǎn)變的初期,市場競爭激烈,未來將有更多好用普惠的MaaS支持AI創(chuàng)新落地。

(責(zé)任編輯:盧其龍 CN070)
關(guān)閉

90后女生辭職去賣豬肉已在杭州買房 努力與堅持的回報

90后女生辭職去賣豬肉已在杭州買房2025-03-17 13:55:06

尹錫悅彈劾案或于本周后期宣判 憲院將做最終裁定

尹錫悅彈劾案或于本周后期宣判2025-03-17 13:07:29

60周歲旅客可用國鐵積分兌換火車票 老年旅客享更多優(yōu)惠

60周歲旅客可用國鐵積分兌換火車票2025-03-17 13:34:41

沈騰馬麗海南團綜合體錄制引發(fā)期待

沈騰馬麗海南合體錄制團綜2025-03-17 13:41:12

男子殺人后多年未婚怕說夢話露餡 15年終落法網(wǎng)

男子殺人后多年未婚怕說夢話露餡2025-03-17 13:32:37

韓國因何被美國“拉黑” 核想法惹的禍

韓國因何被美國拉黑2025-03-17 13:25:40

杜特爾特勸說女兒回國有何目的 政治局勢微妙變化

杜特爾特勸說女兒回國有何目的2025-03-17 13:23:52

三名網(wǎng)紅街頭拍低俗被行政處罰 低俗表演引發(fā)社會關(guān)注

三名網(wǎng)紅街頭拍低俗被行政處罰2025-03-17 13:38:44

日本擬在九州率先部署遠程導(dǎo)彈 強化西南防衛(wèi)機制

日本擬在九州率先部署遠程導(dǎo)彈2025-03-17 13:47:51

梅德韋杰夫:北約“維和部隊”進駐烏克蘭意味著與俄開戰(zhàn)

梅德韋杰夫,北約維和部隊進駐烏克蘭意味著與俄開戰(zhàn)2025-03-17 11:41:58

英法堅持要向烏克蘭派駐部隊 歐洲內(nèi)部意見分歧嚴重

英法堅持要向烏克蘭派駐部隊2025-03-17 11:43:35

成都香飄飄店員選秀上崗,招聘優(yōu)先空乘專業(yè)

香飄飄招聘優(yōu)先空乘專業(yè)2025-03-17 13:32:07

200億,曹德旺又投了一條“產(chǎn)線” 對標(biāo)斯坦福辦學(xué)

200億,曹德旺又投了一條產(chǎn)線2025-03-17 13:48:28

廣連高速一貨車起火側(cè)翻致連環(huán)追尾 現(xiàn)場濃煙滾滾多車受損

廣連高速一貨車起火側(cè)翻致連環(huán)追尾2025-03-17 13:47:54

為何說烏克蘭恨死了馬斯克?軍援中斷引發(fā)前線不滿

為何說烏克蘭恨死了馬斯克2025-03-17 11:37:19

90后女生辭職去賣豬肉已在杭州買房 努力與堅持的回報

90后女生辭職去賣豬肉已在杭州買房2025-03-17 13:55:06

暗訪黃燜雞記者提醒中午11點前別點外賣 剩菜再加工隱患多

暗訪黃燜雞記者提醒中午11點前別點外賣2025-03-17 13:50:24

也門民眾稱美軍襲擊不動搖挺巴決心 堅定支持巴勒斯坦

也門民眾稱美軍襲擊不動搖挺巴決心2025-03-17 13:05:37

何與 百花殺 古裝大制作開機在即

何與百花殺2025-03-17 13:45:56

315晚會曝光電子簽高利貸!律師:重點監(jiān)管平臺 涉事公司頻遭起訴

315晚會曝光電子簽高利貸,律師,重點監(jiān)管平臺2025-03-17 13:41:41

臺民調(diào):58%民眾反對大罷免 主流民意不贊成

臺民調(diào),58%民眾反對大罷免2025-03-17 13:29:22

伊朗譴責(zé)美國對胡塞武裝空襲 違反國際法

伊朗譴責(zé)美國對胡塞武裝空襲2025-03-17 13:09:18

美財長稱無法保證美經(jīng)濟不會衰退 通脹與關(guān)稅政策引擔(dān)憂

美財長稱無法保證美經(jīng)濟不會衰退2025-03-17 13:48:15

專家:美國背刺韓國是為防止其擁核 韓方措手不及

專家,美國背刺韓國是為防止其擁核2025-03-17 11:41:30

俄官員:30天?;鹛嶙h只是為烏軍提供喘息的機會 烏軍爭取時間重新部署

俄官員,30天停火提議只是為烏軍提供喘息的機會2025-03-17 13:40:36

女星一條微博讓估值3000億巨頭“塌房”,究竟發(fā)生了什么? 屈臣氏質(zhì)量問題引發(fā)熱議

女星一條微博讓估值3000億巨頭塌房,究竟發(fā)生了什么2025-03-17 13:51:04

為何說杜特爾特可能有救了 中方揭露管轄漏洞

為何說杜特爾特可能有救了2025-03-17 13:21:35

巴基斯坦一客車遇襲,已造成3名軍人2名平民死亡 3名恐怖分子被當(dāng)場擊斃

巴基斯坦一客車遇襲,已造成3名軍人2名平民死亡3名恐怖分子被當(dāng)場擊斃2025-03-17 13:26:00

烏軍失守蘇賈后庫爾斯克的戰(zhàn)局如何 俄軍大踏步前進

烏軍失守蘇賈后庫爾斯克的戰(zhàn)局如何2025-03-17 13:11:00

發(fā)6666666條騷擾短信僅需3萬 黑幕曝光引發(fā)調(diào)查

發(fā)6666666條騷擾短信僅需3萬2025-03-17 13:52:33

相關(guān)新聞