一則消息突然引爆市場(chǎng)。今日,小米集團(tuán)股價(jià)一度大漲超過(guò)5%,金山云漲幅更是超過(guò)了18%。小米大模型微信公眾號(hào)宣布,小米開(kāi)源了首個(gè)專(zhuān)為推理設(shè)計(jì)的大模型“Xiaomi MiMo”,該模型從預(yù)訓(xùn)練到后訓(xùn)練全面提升了推理能力。
當(dāng)前,AI大模型的競(jìng)爭(zhēng)再度進(jìn)入白熱化階段。4月29日,阿里巴巴通義千問(wèn)發(fā)布了新版Qwen 3系列模型。同一天,馬斯克也宣布將在下周向SuperGrok訂閱者發(fā)布Grok 3.5的早期測(cè)試版。
券商機(jī)構(gòu)分析指出,國(guó)內(nèi)外大模型能力差距正在縮小,國(guó)產(chǎn)算力芯片持續(xù)進(jìn)步,國(guó)內(nèi)頭部互聯(lián)網(wǎng)廠商加大資本支出,為國(guó)內(nèi)AI的發(fā)展奠定了基礎(chǔ)。隨著國(guó)內(nèi)外巨頭大模型的不斷迭代,消費(fèi)者端或有望迎來(lái)殺手級(jí)應(yīng)用。
4月30日,小米系股票全線拉升,小米集團(tuán)盤(pán)中一度上漲超過(guò)5%,金山云漲幅超過(guò)18%,金山軟件最高漲超6%。港股云計(jì)算板塊同樣表現(xiàn)強(qiáng)勁,金蝶國(guó)際、中國(guó)軟件國(guó)際和阿里巴巴-W等公司股價(jià)均有不同程度的上漲。
據(jù)“小米大模型”公眾號(hào)消息,MiMo在數(shù)學(xué)推理(AIME 24-25)和代碼競(jìng)賽(LiveCodeBench v5)公開(kāi)測(cè)評(píng)集上,以7B參數(shù)規(guī)模超越了OpenAI的閉源推理模型o1-mini和阿里Qwen更大規(guī)模的開(kāi)源推理模型QwQ-32B-Preview。官方稱,在相同強(qiáng)化學(xué)習(xí)訓(xùn)練數(shù)據(jù)情況下,MiMo-7B在數(shù)學(xué)與代碼領(lǐng)域的表現(xiàn)顯著領(lǐng)先。目前,MiMo-7B全系列模型已在HuggingFace平臺(tái)開(kāi)源,并發(fā)布了詳細(xì)技術(shù)報(bào)告。
小米技術(shù)團(tuán)隊(duì)表示,MiMo的核心突破在于預(yù)訓(xùn)練與后訓(xùn)練階段的協(xié)同優(yōu)化。在預(yù)訓(xùn)練階段,通過(guò)挖掘高質(zhì)量推理語(yǔ)料并合成約2000億tokens專(zhuān)項(xiàng)數(shù)據(jù),采用三階段漸進(jìn)訓(xùn)練策略,累計(jì)訓(xùn)練量達(dá)25萬(wàn)億tokens。后訓(xùn)練階段則引入創(chuàng)新強(qiáng)化學(xué)習(xí)技術(shù),包括自研算法和策略,有效提升模型在復(fù)雜任務(wù)中的穩(wěn)定性。技術(shù)團(tuán)隊(duì)還開(kāi)發(fā)了“Seamless Rollout”系統(tǒng),使訓(xùn)練效率大幅提升。