3月13日,馬斯克在X平臺(tái)發(fā)了一條少見的道歉帖。
“xAI第一次沒建對(duì),正在從基礎(chǔ)重建。同樣的事在特斯拉也發(fā)生過?!?/p>
“沒建對(duì)”這幾個(gè)字,把此前所有離職、重組和爭(zhēng)議都收進(jìn)了同一個(gè)判斷里。三年前,來自DeepMind、Google、OpenAI、微軟研究院和多倫多大學(xué)的人組成了這家公司最初的陣容。
三個(gè)月后,十二位聯(lián)合創(chuàng)始人沒有一個(gè)留下。
空轉(zhuǎn)的奇跡
沒建對(duì)的不是超算。在硬件建設(shè)上,Colossus的速度很難被忽視。
2024年7月,田納西州孟菲斯還是一塊空地。122天后,Colossus建成,10萬張英偉達(dá)H100GPU接入,Supermicro和戴爾各供應(yīng)約一半服務(wù)器機(jī)架。
傳統(tǒng)上,同等規(guī)模的超大規(guī)模數(shù)據(jù)中心往往需要三到四年的規(guī)劃、許可和建設(shè)。馬斯克把時(shí)間壓到四個(gè)月。
更夸張的是,從第一個(gè)機(jī)架到位,到開始AI訓(xùn)練,只用了19天。黃仁勛評(píng)價(jià)說,這個(gè)速度“通常需要四年”。
為了繞過傳統(tǒng)電力審批的長(zhǎng)周期,xAI直接拉來20臺(tái)移動(dòng)天然氣渦輪發(fā)電機(jī),再配上一套150兆瓦的特斯拉Megapack電池系統(tǒng)供電。不等電網(wǎng),先自己發(fā)電。
122天說明,馬斯克式的“不可能時(shí)間表”在物理世界里仍然有用。問題在于,這套方法對(duì)硅片、機(jī)架和電力有效,對(duì)人未必有效。
到2025年2月,Colossus第二階段滿負(fù)荷運(yùn)行:GPU翻倍至20萬張,連接主電網(wǎng),獲得150兆瓦電力供應(yīng),另有150兆瓦M(jìn)egapack電池作為備用。