DeepSeek扔的第二枚開源王炸是什么。2月25日,DeepSeek在開源周的第二天發(fā)布了名為DeepEP的開源代碼庫。DeepEP是首個專為MoE模型訓練和推理設計的通信庫,填補了該領(lǐng)域?qū)S霉ぞ叩目瞻?,旨在提高大?guī)模分布式AI訓練和實時推理場景下的效率。
DeepEP具備多種技術(shù)性能特點。它支持優(yōu)化的全對全通信模式,通過節(jié)點內(nèi)和節(jié)點間的NVLink與RDMA互聯(lián)來提升數(shù)據(jù)傳輸效率。原生支持FP8低精度運算調(diào)度,有助于降低計算資源消耗。高吞吐量內(nèi)核適用于訓練和推理預填充場景,能夠最大化數(shù)據(jù)處理能力。針對推理解碼場景設計的低延遲內(nèi)核采用了純RDMA通信和自適應路由技術(shù),以減少延遲。此外,通過靈活的GPU資源控制策略,DeepEP實現(xiàn)了計算與通信過程的高效重疊,避免了資源閑置。對于NVLink到RDMA的非對稱帶寬轉(zhuǎn)發(fā)場景,DeepEP也進行了專項優(yōu)化,提升了異構(gòu)網(wǎng)絡下的傳輸性能,并且支持SM數(shù)量動態(tài)控制,平衡不同任務的吞吐量需求。
每經(jīng)AI快訊,2月28日,DeepSeek開源周第五天,DeepSeek在官方X賬號宣布開源3FS,它是所有Deepseek數(shù)據(jù)訪問的助推器
2025-02-28 11:52:14DeepSeek開源周第五天這個春節(jié),全球資本市場被一匹來自中國AI圈的黑馬“殺瘋了”。當所有人以為ChatGPT穩(wěn)坐神壇時,DeepSeek用一場技術(shù)逆襲宣告:中國AI大模型已殺入全球第一梯隊
2025-02-11 03:30:14DeepSeek王炸組合榜DeepSeek發(fā)布了新一代開源大模型DeepSeek-R1。該模型在數(shù)學、代碼、自然語言推理等任務上的性能與美國OpenAI公司的最新o1大模型相當
2025-01-21 22:05:22DeepSeek又有重大突破