馬斯克掀桌子了，最強(qiáng)開源大模型誕生 Grok-2震撼發(fā)布！馬斯克終于開源了Grok-2。xAI正式宣布向所有人開放Grok-2，并預(yù)告Grok-3將在6個(gè)月后開源。Grok-2于2024年完成訓(xùn)練，體積超過500GB，其混合專家架構(gòu)在Grok-1的基礎(chǔ)上進(jìn)行了改進(jìn)。

此次開源的核心部分包括模型權(quán)重和架構(gòu)。Grok-2的技術(shù)特點(diǎn)十分突出：總參數(shù)量高達(dá)9050億，在推理時(shí)每次激活其中的1360億參數(shù)，使其成為目前最強(qiáng)大的開源模型之一。它支持高達(dá)131,072 token的上下文長(zhǎng)度，能夠一次性處理非常長(zhǎng)的文檔或?qū)υ挌v史。此外，Grok-2采用混合專家架構(gòu)，可以在不增加巨大計(jì)算成本的前提下大幅擴(kuò)展模型規(guī)模，提升模型能力。預(yù)訓(xùn)練數(shù)據(jù)覆蓋了大量的文本和代碼，截至2024年初。

關(guān)于開源權(quán)限，商業(yè)用途有一定門檻：只有當(dāng)關(guān)聯(lián)公司年收入低于一百萬(wàn)美元時(shí)，才可用于商業(yè)用途；超過此門檻的商業(yè)用途需獲得xAI的單獨(dú)許可。除非協(xié)議條款允許對(duì)Grok 2進(jìn)行修改或微調(diào)，否則不得使用材料、衍生品或輸出來(lái)訓(xùn)練、創(chuàng)建或改進(jìn)任何基礎(chǔ)、大型語(yǔ)言或通用人工智能模型。

Grok-2現(xiàn)已正式開源，用戶可在Hugging Face上下載。下載方法是通過SGLang部署，下載權(quán)重文件。如果下載成功，該文件夾下應(yīng)包含42個(gè)文件，總大小約為500GB。啟動(dòng)服務(wù)器需要安裝最新版的SGLang推理引擎（版本≥v0.5.1），并使用特定命令啟動(dòng)推理服務(wù)器。這個(gè)配置需要8張GPU（每張顯存大于40GB）。發(fā)送請(qǐng)求時(shí)，需要使用正確的對(duì)話模板。

網(wǎng)友XFreeze表示，xAI的發(fā)展速度驚人。他透露，xAI位于孟菲斯的巨像數(shù)據(jù)中心僅用122天建成并全面投入運(yùn)營(yíng)，配備100,000塊英偉達(dá)H100 GPU。短短兩年內(nèi)，xAI憑借Grok 4的發(fā)布，以極其精簡(jiǎn)的團(tuán)隊(duì)登頂全球最強(qiáng)人工智能之巔。黃仁勛曾稱這是“超人”之舉，只有馬斯克能做到。有網(wǎng)友贊美馬斯克和xAI正以光速推動(dòng)AI的進(jìn)步，并預(yù)告Grok 5訓(xùn)練即將開始。還有網(wǎng)友感嘆，這一切就像在實(shí)時(shí)觀看一個(gè)科幻夢(mèng)想成真。Grok 4發(fā)布會(huì)上，馬斯克預(yù)告了下一步路線圖：8月將發(fā)布編碼模型，9月發(fā)布多模態(tài)智能體，10月發(fā)布視頻生成模型。預(yù)計(jì)5年內(nèi)，xAI將打造出5000塊H100巨無(wú)霸超算。馬斯克自信滿滿地表示，xAI很快就能超越谷歌以外的所有對(duì)手，甚至超越谷歌也只是時(shí)間問題。