Kimi團(tuán)隊(duì)還進(jìn)行了一系列實(shí)驗(yàn),驗(yàn)證了這一改進(jìn)在不同模型規(guī)模下的有效性。結(jié)果顯示,注意力在所有計(jì)算預(yù)算下都優(yōu)于基線,效果相當(dāng)于用1.25倍的計(jì)算量訓(xùn)練出的基線模型。此外,他們?cè)谧约旱拇竽P蜕线M(jìn)行了實(shí)戰(zhàn)驗(yàn)證,結(jié)果表明塊注意力殘差確實(shí)緩解了PreNorm稀釋問(wèn)題,各層輸出的幅度保持在一個(gè)相對(duì)穩(wěn)定的范圍內(nèi),梯度分布也更加均勻。
月之暗面正處于上市的關(guān)鍵時(shí)期,近期完成了多輪融資,估值迅速增長(zhǎng)。然而,融資順利并不意味著沒(méi)有爭(zhēng)議。OpenClaw創(chuàng)始人彼得·斯坦伯格公開(kāi)質(zhì)疑月之暗面的Kimi Claw產(chǎn)品,認(rèn)為其云端部署模式違背了OpenClaw的設(shè)計(jì)理念,存在安全和隱私風(fēng)險(xiǎn)。斯坦伯格的質(zhì)疑在社區(qū)中產(chǎn)生了影響,一些用戶表示暫時(shí)不會(huì)使用該產(chǎn)品。
盡管如此,馬斯克的那條回復(fù)為月之暗面帶來(lái)了正面影響。雖然這兩件事看似無(wú)關(guān),但在輿論場(chǎng)上,它們會(huì)被放在一起解讀。馬斯克的認(rèn)可對(duì)正在進(jìn)行新一輪融資的月之暗面來(lái)說(shuō)時(shí)機(jī)極佳,引發(fā)了更多人關(guān)注這篇論文。一個(gè)十一年沒(méi)人碰過(guò)的組件被重新打開(kāi),接下來(lái)會(huì)發(fā)生什么,誰(shuí)也不知道。
一篇關(guān)于Transformer模型的論文引起了廣泛關(guān)注,包括馬斯克和Karpathy在內(nèi)的多位專家都對(duì)其表達(dá)了濃厚興趣
2026-03-19 10:02:26深圳17歲高三生成Kimi論文第一作者馬斯克這家伙又開(kāi)始了:“大多數(shù)人,中國(guó)以外的人,根本不知道中國(guó)有多強(qiáng)
2026-02-09 09:06:36馬斯克說(shuō)中國(guó)絕對(duì)是能源大國(guó)