在2025AI容器應(yīng)用落地與發(fā)展論壇上,華為公司副總裁、數(shù)據(jù)存儲(chǔ)產(chǎn)品線總裁周躍峰博士發(fā)布了AI容器技術(shù)——Flex:ai。華為聯(lián)合上海交通大學(xué)、西安交通大學(xué)與廈門大學(xué)共同宣布將此項(xiàng)產(chǎn)學(xué)合作成果開(kāi)源。
發(fā)布的Flex:ai XPU池化與調(diào)度軟件基于Kubernetes容器編排平臺(tái)構(gòu)建,通過(guò)精細(xì)化管理與智能調(diào)度GPU、NPU等智能算力資源,實(shí)現(xiàn)AI工作負(fù)載與算力資源的匹配,大幅提升算力利用率。當(dāng)前AI產(chǎn)業(yè)高速發(fā)展帶來(lái)大量算力需求,但全球算力資源利用率偏低的問(wèn)題日益凸顯。據(jù)業(yè)內(nèi)人士透露,行業(yè)內(nèi)算力資源的平均利用率僅為30%至40%,甚至更低。小模型任務(wù)獨(dú)占整卡導(dǎo)致資源閑置,大模型任務(wù)單機(jī)算力不足難以支撐,大量缺乏GPU/NPU的通用服務(wù)器處于算力“休眠”狀態(tài)。
如何喚醒并高效利用算力集群資源成為行業(yè)難題。容器技術(shù)作為一種輕量級(jí)虛擬化技術(shù),可以將模型代碼和運(yùn)行環(huán)境打包成獨(dú)立鏡像,實(shí)現(xiàn)跨平臺(tái)無(wú)縫遷移,并按需掛載GPU、NPU算力資源,提升集群整體資源利用率。Gartner分析師預(yù)測(cè),到2027年,超過(guò)75%的AI工作負(fù)載將采用容器技術(shù)進(jìn)行部署和運(yùn)行。
在AI容器領(lǐng)域,已有不少企業(yè)推出相關(guān)產(chǎn)品。例如英偉達(dá)以7億美元收購(gòu)了以色列AI公司Run:ai,該公司核心產(chǎn)品基于kubernnetes構(gòu)建,用于調(diào)度GPU計(jì)算資源,優(yōu)化資源利用率,讓深度學(xué)習(xí)訓(xùn)練與推理任務(wù)高效運(yùn)行。華為發(fā)布并開(kāi)源的Flex:ai XPU池化與調(diào)度軟件,在虛擬化和智能調(diào)度方面實(shí)現(xiàn)了突破。
針對(duì)AI小模型訓(xùn)推場(chǎng)景中“一張卡跑一個(gè)任務(wù)”的資源浪費(fèi)問(wèn)題,華為與上海交通大學(xué)聯(lián)合研發(fā)XPU池化框架,可將單張GPU或NPU算力卡切分為多份虛擬算力單元,切分粒度精準(zhǔn)至10%。這一技術(shù)使單卡同時(shí)承載多個(gè)AI工作負(fù)載,通過(guò)彈性靈活的資源隔離技術(shù),實(shí)現(xiàn)算力單元的按需切分,提高整體算力利用率。