中國科學(xué)院自動(dòng)化研究所李國齊、徐波團(tuán)隊(duì)與相關(guān)單位合作,成功研發(fā)出類腦脈沖大模型“瞬悉1.0”(SpikingBrain-1.0)。這一模型借鑒了大腦神經(jīng)元內(nèi)部工作機(jī)制,展示了一條不斷提升模型復(fù)雜度和性能的新路徑。相比當(dāng)前主流的Transformer架構(gòu),“瞬悉1.0”僅需約2%的數(shù)據(jù)量,就能在多項(xiàng)語言理解和推理任務(wù)中達(dá)到媲美眾多主流模型的性能。
這是我國首次提出大規(guī)模類腦線性基礎(chǔ)模型架構(gòu),并在國產(chǎn)GPU算力集群上構(gòu)建了類腦脈沖大模型的訓(xùn)練和推理框架?!八蚕?.0”的超長(zhǎng)序列處理能力在法律與醫(yī)學(xué)文檔分析、復(fù)雜多智能體模擬、高能粒子物理實(shí)驗(yàn)、DNA序列分析、分子動(dòng)力學(xué)軌跡等超長(zhǎng)序列任務(wù)建模場(chǎng)景中具有顯著的潛在效率優(yōu)勢(shì)。
該模型為新一代人工智能發(fā)展提供了非Transformer架構(gòu)的新技術(shù)路線,并將啟迪更低功耗的下一代神經(jīng)形態(tài)計(jì)算理論和芯片設(shè)計(jì)。