在2025AI容器應(yīng)用落地與發(fā)展論壇上，華為公司副總裁、數(shù)據(jù)存儲(chǔ)產(chǎn)品線總裁周躍峰博士發(fā)布了AI容器技術(shù)——Flex:ai。華為聯(lián)合上海交通大學(xué)、西安交通大學(xué)與廈門大學(xué)共同宣布將此項(xiàng)產(chǎn)學(xué)合作成果開源。

發(fā)布的Flex:ai XPU池化與調(diào)度軟件基于Kubernetes容器編排平臺(tái)構(gòu)建，通過(guò)精細(xì)化管理與智能調(diào)度GPU、NPU等智能算力資源，實(shí)現(xiàn)AI工作負(fù)載與算力資源的匹配，大幅提升算力利用率。當(dāng)前AI產(chǎn)業(yè)高速發(fā)展帶來(lái)大量算力需求，但全球算力資源利用率偏低的問(wèn)題日益凸顯。據(jù)業(yè)內(nèi)人士透露，行業(yè)內(nèi)算力資源的平均利用率僅為30%至40%，甚至更低。小模型任務(wù)獨(dú)占整卡導(dǎo)致資源閑置，大模型任務(wù)單機(jī)算力不足難以支撐，大量缺乏GPU/NPU的通用服務(wù)器處于算力“休眠”狀態(tài)。

如何喚醒并高效利用算力集群資源成為行業(yè)難題。容器技術(shù)作為一種輕量級(jí)虛擬化技術(shù)，可以將模型代碼和運(yùn)行環(huán)境打包成獨(dú)立鏡像，實(shí)現(xiàn)跨平臺(tái)無(wú)縫遷移，并按需掛載GPU、NPU算力資源，提升集群整體資源利用率。Gartner分析師預(yù)測(cè)，到2027年，超過(guò)75%的AI工作負(fù)載將采用容器技術(shù)進(jìn)行部署和運(yùn)行。

在AI容器領(lǐng)域，已有不少企業(yè)推出相關(guān)產(chǎn)品。例如英偉達(dá)以7億美元收購(gòu)了以色列AI公司Run:ai，該公司核心產(chǎn)品基于kubernnetes構(gòu)建，用于調(diào)度GPU計(jì)算資源，優(yōu)化資源利用率，讓深度學(xué)習(xí)訓(xùn)練與推理任務(wù)高效運(yùn)行。華為發(fā)布并開源的Flex:ai XPU池化與調(diào)度軟件，在虛擬化和智能調(diào)度方面實(shí)現(xiàn)了突破。

針對(duì)AI小模型訓(xùn)推場(chǎng)景中“一張卡跑一個(gè)任務(wù)”的資源浪費(fèi)問(wèn)題，華為與上海交通大學(xué)聯(lián)合研發(fā)XPU池化框架，可將單張GPU或NPU算力卡切分為多份虛擬算力單元，切分粒度精準(zhǔn)至10%。這一技術(shù)使單卡同時(shí)承載多個(gè)AI工作負(fù)載，通過(guò)彈性靈活的資源隔離技術(shù)，實(shí)現(xiàn)算力單元的按需切分，提高整體算力利用率。

為解決大量通用服務(wù)器因缺乏智能計(jì)算單元而無(wú)法服務(wù)于AI工作負(fù)載的問(wèn)題，華為與廈門大學(xué)聯(lián)合研發(fā)跨節(jié)點(diǎn)拉遠(yuǎn)虛擬化技術(shù)。該技術(shù)將集群內(nèi)各節(jié)點(diǎn)的空閑XPU算力聚合形成“共享算力池”，一方面為高算力需求的AI工作負(fù)載提供充足資源支撐；另一方面，讓不具備智能計(jì)算能力的通用服務(wù)器通過(guò)高速網(wǎng)絡(luò)將AI工作負(fù)載轉(zhuǎn)發(fā)到遠(yuǎn)端“資源池”中的GPU/NPU算力卡中執(zhí)行，促進(jìn)通用算力與智能算力資源融合。

面對(duì)算力集群中多品牌、多規(guī)格異構(gòu)算力資源難以統(tǒng)一調(diào)度的痛點(diǎn)，華為與西安交通大學(xué)共同打造Hi Scheduler智能調(diào)度器。該調(diào)度器自動(dòng)感知集群負(fù)載與資源狀態(tài)，結(jié)合AI工作負(fù)載的優(yōu)先級(jí)、算力需求等多維參數(shù)，對(duì)本地及遠(yuǎn)端的虛擬化GPU、NPU資源進(jìn)行全局最優(yōu)調(diào)度，實(shí)現(xiàn)AI工作負(fù)載分時(shí)復(fù)用資源。

周躍峰表示，F(xiàn)lex:ai的發(fā)布旨在推動(dòng)AI平民化。此前醫(yī)院科室往往購(gòu)買少量GPU或NPU卡，難以進(jìn)行粗放的算力利用和調(diào)度。Flex:ai希望通過(guò)虛擬化技術(shù)，將一張卡虛擬化成多張卡，以更小的算力單元進(jìn)行調(diào)度，充分釋放每一張卡的算力能力。Flex:ai將在發(fā)布后同步開源在魔擎社區(qū)中，華為希望通過(guò)開源推動(dòng)形成以AI容器技術(shù)為載體的資源高效利用新范式。