英偉達(dá)收購了開發(fā)Groq芯片的團(tuán)隊(duì),并將其技術(shù)與Vera Rubin深度整合。Groq 3 LPU每個(gè)芯片集成了500MB的SRAM,帶寬高達(dá)150 TB/s,遠(yuǎn)高于HBM的22 TB/s。這種組合顯著提升了推理應(yīng)用的性能,每兆瓦功耗的推理吞吐量最高可提升35倍。
在網(wǎng)絡(luò)連接與集群擴(kuò)展方面,英偉達(dá)展示了全新一代的Kyber機(jī)架,采用垂直插入設(shè)計(jì),成功在單一NVLink網(wǎng)域內(nèi)連接多達(dá)144個(gè)GPU。同時(shí),英偉達(dá)重新設(shè)計(jì)了整個(gè)存儲(chǔ)系統(tǒng):BlueField-4 STX存儲(chǔ)機(jī)架,優(yōu)化了大型語言模型和智能AI工作流生成的數(shù)據(jù)存儲(chǔ)和檢索。
黃仁勛還發(fā)布了NVIDIA Space-1 Vera Rubin模塊,標(biāo)志著英偉達(dá)正式推出太空計(jì)算服務(wù)。該模塊上的Rubin GPU可為基于太空的推理提供高達(dá)25倍的AI計(jì)算能力,為分布式計(jì)算中心、高級(jí)地理空間智能處理和自主太空操作提供下一代計(jì)算能力。
最后,黃仁勛強(qiáng)調(diào)了AI工廠的商業(yè)模式,Token的分層定價(jià)體系直接關(guān)系到AI工廠的營(yíng)收。他建議盡快行動(dòng),因?yàn)門oken成本會(huì)下降,吞吐量會(huì)上升。英偉達(dá)的“垂直整合然后水平開放”策略將帶來巨大的性能提升。
整場(chǎng)發(fā)布會(huì)充滿了對(duì)未來科技的展望,從一塊GPU到一座AI工廠,黃仁勛用十年時(shí)間完成了英偉達(dá)的進(jìn)化。