电竞下注-中国电竞赛事及体育赛事平台

中華網(wǎng) china.com

里程碑時刻！螞蟻推出業(yè)內(nèi)首個100B擴散語言模型 性能超越同級

關(guān)鍵詞：
2025-12-13 17:07:32  IT之家

螞蟻技術(shù)研究院今日宣布推出LLaDA2.0系列離散擴散大語言模型，并同步公開了背后的技術(shù)報告，宣稱這是業(yè)內(nèi)首個100B擴散語言模型。LLaDA2.0包含MoE架構(gòu)的16B和100B兩個版本，將Diffusion模型的參數(shù)規(guī)模首次擴展到了100B量級。

該研究院表示，此次發(fā)布的模型不僅打破了擴散模型難以擴展的固有印象，還在代碼、數(shù)學和智能體任務(wù)上展現(xiàn)出了超越同級自回歸模型的性能。通過創(chuàng)新的Warmup-Stable-Decay持續(xù)預(yù)訓練策略，LLaDA2.0能夠無縫繼承現(xiàn)有自回歸模型的知識，避免了從頭訓練的高昂成本。結(jié)合置信度感知并行訓練和擴散模型版DPO，LLaDA2.0在保證生成質(zhì)量的同時，利用擴散模型的并行解碼優(yōu)勢，實現(xiàn)了相比自回歸模型2.1倍的推理加速，證明了在超大規(guī)模參數(shù)下，擴散模型不僅可行，而且更強、更快。

螞蟻技術(shù)研究院在知識理解、數(shù)學、代碼、推理及智能體等多個維度對模型進行了評估。結(jié)果顯示，LLaDA2.0在結(jié)構(gòu)化生成任務(wù)（如代碼）上具有顯著優(yōu)勢，并在其他領(lǐng)域與開源自回歸模型持平。LLaDA2.0的模型權(quán)重及相關(guān)訓練代碼已在Huggingface開源。

(責任編輯：zhangxiaohua)
關(guān)閉

游客坐馬拉爬犁 像“流放寧古塔” 冰雪旅游新體驗

游客坐馬拉爬犁像流放寧古塔2026-01-19 13:11:41

多地“刨豬宴”被緊急叫停 安全考量成主因

多地刨豬宴被緊急叫停2026-01-19 13:11:09

被妻子道歉出軌丈夫現(xiàn)狀曝光 停職調(diào)查中

被妻子道歉出軌丈夫現(xiàn)狀曝光2026-01-19 13:09:22

男孩車禍昏迷同學錄視頻呼喚 奇跡般蘇醒

男孩車禍昏迷同學錄視頻呼喚2026-01-19 13:00:21

伊朗緊急發(fā)出“全面戰(zhàn)爭”警告 局勢緊張升級

伊朗緊急發(fā)出全面戰(zhàn)爭警告2026-01-19 11:11:19

巴以均不滿“和平委員會”成員 名單爭議不斷

巴以均不滿和平委員會成員2026-01-19 13:00:04

俄稱打擊烏能源交通基礎(chǔ)設(shè)施 瞄準戰(zhàn)爭命脈

俄稱打擊烏能源交通基礎(chǔ)設(shè)施2026-01-19 11:23:54

斯巴達勇士賽百米障礙賽首次落地中國 精英選手激烈角逐

斯巴達勇士賽百米障礙賽首次落地中國2026-01-19 12:51:05

越來越多野生動物“愛上”都市生活 共存之道探索中

越來越多野生動物愛上都市生活2026-01-19 12:57:47

被妻子道歉出軌丈夫現(xiàn)狀曝光 停職調(diào)查中

被妻子道歉出軌丈夫現(xiàn)狀曝光2026-01-19 13:09:22

多地“刨豬宴”被緊急叫停 安全考量成主因

多地刨豬宴被緊急叫停2026-01-19 13:11:09

血戰(zhàn)利曼！15公里戰(zhàn)線烏軍只部署千人 烏軍防線告急

血戰(zhàn)利曼,15公里戰(zhàn)線烏軍只部署千人2026-01-19 10:23:22

游客坐馬拉爬犁 像“流放寧古塔” 冰雪旅游新體驗

游客坐馬拉爬犁像流放寧古塔2026-01-19 13:11:41

2025年城鎮(zhèn)調(diào)查失業(yè)率平均值5.2% 就業(yè)形勢總體穩(wěn)定

2025年城鎮(zhèn)調(diào)查失業(yè)率平均值5,2%2026-01-19 13:06:29

媒體：U23國足彰顯前所未有的自信 鐵血防守創(chuàng)造歷史

媒體,U23國足彰顯前所未有的自信2026-01-19 12:58:22

神20返回任務(wù)圓滿成功 艙內(nèi)物品狀態(tài)良好

神20返回任務(wù)圓滿成功2026-01-19 10:55:16

歐洲被美國逼到墻角 被迫尋求與俄對話

歐洲被美國逼到墻角2026-01-19 09:50:36

三預(yù)警齊發(fā)多地緊急通知停課 寒潮引發(fā)大范圍雨雪

三預(yù)警齊發(fā)多地緊急通知停課2026-01-19 12:56:14

高市欲提前選舉 反高市聯(lián)盟馬上成立 在野黨聯(lián)合抗爭

高市欲提前選舉反高市聯(lián)盟馬上成立2026-01-19 11:49:15

美國邀約60國加入特朗普版聯(lián)合國 引發(fā)多方謹慎回應(yīng)

美國邀約60國加入特朗普版聯(lián)合國2026-01-19 11:24:17

臺退將稱殲20將改變西太軍力平衡

臺退將稱殲20將改變西太軍力平衡2026-01-19 09:45:57

警方通報男子擺拍視頻污名化成都 惡意編造散布虛假信息

警方通報男子擺拍視頻污名化成都2026-01-19 12:55:53

專家：格陵蘭島難逃美國魔爪 歐洲象征性派兵難阻奪島

專家,格陵蘭島難逃美國魔爪2026-01-19 11:50:24

今明兩天是北京此次持續(xù)低溫天氣的谷底，周四氣溫緩慢回升 寒意不減風力減弱

今明兩天是北京此次持續(xù)低溫天氣的谷底,周四氣溫緩慢回升2026-01-19 13:07:01

張杰未live巡回演唱會 開往1982音樂之旅

張杰未live巡回演唱會2026-01-19 13:11:06

女子患病離世確診僅2個多月 罕見病奪命速

女子患病離世確診僅2個多月2026-01-19 12:55:31

德：將同歐洲伙伴應(yīng)對美加稅 歐盟反制清單激活

德將同歐洲伙伴應(yīng)對美加稅2026-01-19 10:59:27

連續(xù)漲薪37年公司因只漲20元致歉 經(jīng)營困境中的最大心意

連續(xù)漲薪37年公司因只漲20元致歉2026-01-19 13:06:45

美國移民執(zhí)法政治化的結(jié)構(gòu)性裂變 街頭沖突映射深層分裂

美國移民執(zhí)法政治化的結(jié)構(gòu)性裂變2026-01-19 11:02:48

3名游客冰面徒步掉入河中 野冰危險，請勿涉足！

3名游客冰面徒步掉入河中2026-01-19 13:04:56

美國男子持步槍守護社區(qū)對抗ICE 沖突再起引發(fā)抗議

美國男子持步槍守護社區(qū)對抗ICE2026-01-19 13:04:19

伊朗最高領(lǐng)袖：美國和以色列是伊朗暴力事件幕后黑手 指責特朗普造成傷亡

伊朗最高領(lǐng)袖,美國和以色列是伊朗暴力事件幕后黑手2026-01-19 10:44:46

日媒曝中國要求日企提交更詳盡材料 稀土出口受限引發(fā)連鎖反應(yīng)

日媒曝中國要求日企提交更詳盡材料2026-01-19 10:56:18

神二十成功著陸 應(yīng)急救援彰顯航天韌性

神二十成功著陸2026-01-19 09:50:07

相關(guān)新聞