華為近期發(fā)布的盤古Pro MoE大模型,通過動態(tài)激活專家網(wǎng)絡的創(chuàng)新設計,實現(xiàn)了以小打大的優(yōu)異性能。然而,近日一項發(fā)布于GitHub的研究引發(fā)業(yè)界關(guān)注,該研究認為,華為推出的盤古大模型與阿里巴巴發(fā)布的通義千問Qwen-2.5 14B模型在參數(shù)結(jié)構(gòu)上存在“驚人一致”。
7月5日下午,華為盤古團隊發(fā)布聲明表示,盤古Pro MoE開源模型是基于昇騰硬件平臺開發(fā)和訓練的基礎大模型,并非基于其他廠商模型增量訓練而來。該模型在架構(gòu)設計和技術(shù)特性方面做了關(guān)鍵創(chuàng)新,是全球首個面向昇騰硬件平臺設計的同規(guī)格混合專家模型。盤古Pro MoE提出了分組混合專家模型(MoGE)架構(gòu),有效解決了大規(guī)模分布式訓練的負載均衡難題,提升了訓練效率。
聲明還指出,盤古Pro MoE開源模型部分基礎組件的代碼實現(xiàn)參考了業(yè)界開源實踐,涉及其他開源大模型的部分開源代碼。華為嚴格遵循開源許可證的要求,在開源代碼文件中清晰標注了開源代碼的版權(quán)聲明。這不僅是開源社區(qū)的通行做法,也符合業(yè)界倡導的開源協(xié)作精神。華為始終堅持開放創(chuàng)新,尊重第三方知識產(chǎn)權(quán),提倡包容、公平、開放、團結(jié)和可持續(xù)的開源理念。
華為感謝全球開發(fā)者與合作伙伴對盤古大模型的關(guān)注和支持,高度重視開源社區(qū)的建設性意見。希望通過盤古大模型開源,與志同道合的伙伴一起探索并不斷優(yōu)化模型能力,加速技術(shù)突破與產(chǎn)業(yè)落地。華為歡迎并期待大家在開源社區(qū)Ascend Tribe就技術(shù)細節(jié)進行深入、專業(yè)的交流。
科學家利用超級計算機預測了地球的未來,結(jié)果顯示,在2.5億年后,地球可能會再次形成一個終極盤古大陸。目前分散在世界各地的大陸將重新匯聚,但這不僅僅是簡單的拼接過程,背后伴隨著嚴重的氣候災難
2025-02-23 10:20:02科學家測算出人類滅絕時間互聯(lián)網(wǎng)賬號“黃毛毛111”爆料稱,藝人張大大因腳本溝通問題對女員工進行了長達兩小時的辱罵和毆打,并找人騷擾其住宅,導致她被房東趕走。隨后,公司通知黃毛毛解除勞動合同
2025-01-26 21:18:12黃毛毛回應公司聲明