馬斯克下場點贊！Kimi 這篇論文撬動了大模型的「祖?zhèn)鞯鼗?深度學習范式變革
馬斯克下場點贊！Kimi這篇論文撬動了大模型的「祖?zhèn)鞯鼗股疃葘W習范式變革！同樣的算力，同樣的數(shù)據(jù)，為什么效果會不同？大多數(shù)人認為是模型更大、數(shù)據(jù)更好或工程師更厲害。然而，Kimi提出了一個令人驚訝的答案。
3月16日，Kimi 發(fā)布了一項名為《Attention Residuals》的技術(shù)報告。這項技術(shù)對幾乎所有現(xiàn)代大模型使用的殘差連接結(jié)構(gòu)進行了改進，并在實驗中證明，用同樣多的算力，新方法訓練出的模型效果相當于基線模型花費1.25倍算力才能達到的效果。
報告發(fā)布后，得到了許多硅谷頂尖AI專家的認可。馬斯克通過社交媒體表示這是“令人印象深刻的工作”。OpenAI的主要發(fā)明者Jerry Tworek稱其為“深度學習2.0”的開端。前OpenAI聯(lián)合創(chuàng)始人Andrej Karpathy也指出，我們還沒有完全理解“注意力就是一切”這句話的真正含義。
過去十年里，幾乎沒有人動過殘差連接這個基礎(chǔ)結(jié)構(gòu)?，F(xiàn)代大模型通常由很多層神經(jīng)網(wǎng)絡(luò)疊加而成，信息從底部輸入，逐層傳遞和加工。然而，隨著網(wǎng)絡(luò)層數(shù)增加，訓練難度也隨之增大。2015年何愷明團隊提出的殘差連接解決了深層網(wǎng)絡(luò)難以訓練的問題，但這種方式在信息聚合上較為粗暴，導(dǎo)致很多中間層實際上貢獻有限。
大多數(shù)團隊選擇繞開這個問題，轉(zhuǎn)而在現(xiàn)有架構(gòu)上進行優(yōu)化。Kimi則選擇回到最基礎(chǔ)的結(jié)構(gòu)，重新審視那些被認為理所當然的設(shè)計。Kimi團隊發(fā)現(xiàn)，處理文字序列時遇到的問題與殘差連接在深度方向上的問題數(shù)學結(jié)構(gòu)相同。他們將注意力機制從處理文字序列轉(zhuǎn)移到跨越網(wǎng)絡(luò)深度的方向上，讓每一層主動決定要從哪些層提取多少信息。
當?shù)赝▓蟆?旬老人遭8旬老人毆打” 養(yǎng)老院管理引質(zhì)疑
尚界Z7和小米SU7怎么選 智能配置對決
女子從128斤減至85斤“撞臉”楊冪 健康蛻變引熱議
日本軍事動作頻頻 加速再軍事化引發(fā)警惕
尚界Z7和小米SU7怎么選 智能配置對決
奇瑞風云A9轎跑開啟小訂 智美轎跑亮相北京車展
2歲萌娃喊話林丹一起打球林丹真來了 夢想成真共赴球約
評論員：日本沉溺帝國舊夢131年 臺海挑釁引發(fā)解放軍強勢回應(yīng)
他為中國龍插上了翅膀
當?shù)赝▓蟆?旬老人遭8旬老人毆打” 養(yǎng)老院管理引質(zhì)疑
美大炮巨艦與伊朗蜂群突擊誰主沉浮 海上拉鋸持續(xù)對峙
東高村鎮(zhèn)西紅柿嘗鮮季啟幕 春日雙鮮果樂
日本呼吁震區(qū)民眾做好防災(zāi)準備 海嘯警報發(fā)布
馬尼拉打錯了算盤 自以為是的“算計”反成中國南海布局的“神助攻”
日本推進航空自衛(wèi)隊更名航空宇宙自衛(wèi)隊 修正案通過表決
比亞迪全新概念車OCEAN-V首發(fā)亮相 多功能設(shè)計引領(lǐng)未來出行
特斯拉確認Cybercab已正式投產(chǎn)！北美工廠啟動生產(chǎn)
中國第四艘航母真會是核動力的嗎 官方宣傳片暗藏玄機
女摩托車主遭3男子騷擾摸腰崩潰大哭 警方已依法拘留涉事者
因滑坡中斷國道或五一前通車 搶修進行中爭取恢復(fù)通行
印尼提議在馬六甲海峽收過路費 研究征收費用方案
攻擊-21登上福建艦了嗎 隱身無人機引發(fā)關(guān)注
甲骨文全球裁員30000人背后，是AI泡沫還是AI替代？ AI轉(zhuǎn)型代價
北京車展觀察：車展不再“整車獨大” 供應(yīng)商登上C位
中國海軍或?qū)⒂撕侥?核動力時代來臨
特朗普稱不知道伊朗真正領(lǐng)導(dǎo)人是誰 內(nèi)斗加劇引發(fā)關(guān)注
投票彈劾賴清德日期定了 朝野協(xié)商定案
一輛公交車上的雙向生命守護 公交司機強忍痛苦停車救了一車人
英國“終身禁煙令”引熱議 打造無煙一代
美國巴士爆炸 濃煙沖上高空 華盛頓市中心陷入恐慌
2026北京車展：深藍汽車迎四周年上新季 L06 Max正式上市 駕控性能卓越
女子從128斤減至85斤“撞臉”楊冪 健康蛻變引熱議
轉(zhuǎn)賣女生園區(qū)想讓刪除相關(guān)新聞報道 囂張老板施壓家屬
杭州新一代外骨骼機器人亮相 助力行走如“太空步”
黎巴嫩民眾為遇難女記者送行 哀悼與敬意交織
相關(guān)新聞
馬斯克點贊kimi 創(chuàng)新技術(shù)獲認可
2026-03-17 15:34:56馬斯克點贊kimi馬斯克點贊的中國火箭水平到底如何？
2025-12-09 10:35:47馬斯克點贊的中國火箭水平到底如何馬斯克為何頻頻“點贊”中國 認可與深意并存
2026-02-02 13:06:37馬斯克為何頻頻點贊中國馬斯克點贊深圳小孩哥 團隊合作成果顯著
埃隆·馬斯克在社交平臺上發(fā)文稱贊中國人工智能公司月之暗面（Moonshot AI）Kimi團隊的一項新近公開的技術(shù)成果，稱其“令人印象深刻”
2026-03-19 10:13:25馬斯克點贊深圳小孩哥何小鵬回應(yīng)馬斯克點贊小鵬機器人 隔空互贊引關(guān)注
2025-11-08 09:32:06何小鵬回應(yīng)馬斯克點贊小鵬機器人瀏陽煙花獲馬斯克點贊 無人機與焰火的“星河盛宴”
十月的夜晚，瀏陽上空忽然上演了一場無人機與焰火結(jié)合的“星河盛宴”。將近一萬六千架無人機在天幕下齊飛，每架都掛著400克重的小煙花，畫面如同科幻片般震撼
2025-10-23 08:51:36瀏陽煙花獲馬斯克點贊
