Meta公司近日震撼發(fā)布開源大語言模型Meta Llama 3,此舉被視為人工智能發(fā)展歷程中的重要里程碑。Llama 3首批推出兩款版本,分別擁有80億參數(shù)(Llama 3 8B)和700億參數(shù)(Llama 3 70B)。更強大的4000億參數(shù)版本(Llama 3 400B)正在緊鑼密鼓地訓練中,預計未來數(shù)月內將與公眾見面。
相較于前代Llama 2,Llama 3不僅在性能上實現(xiàn)顯著提升,更在推理、代碼生成和指令遵循等領域取得突破性進展,使其成為當前最頂尖的開源大語言模型。Llama 3的優(yōu)勢體現(xiàn)在其龐大的參數(shù)規(guī)模、高質量的訓練數(shù)據(jù)、先進的模型架構、創(chuàng)新的微調技術及對安全性的嚴格把控,這些因素共同鑄就了其卓越的性能表現(xiàn),并預示著未來有望繼續(xù)挑戰(zhàn)行業(yè)標準。
Llama 3的發(fā)布在業(yè)內引發(fā)強烈反響,眾多專家與開發(fā)者紛紛給予高度評價。Jim Fan博士視即將面世的Llama 3-400B+模型為社區(qū)獲取GPT-4級別模型的關鍵節(jié)點,預期其將重塑諸多研究項目和初創(chuàng)企業(yè)的前進路徑。Cameron R. Wolfe博士則強調了Llama 3在數(shù)據(jù)質量方面的不懈努力,如采用15萬億個token的預訓練數(shù)據(jù)(較Llama 2增加7倍,遠超DBRX的12萬億個)、豐富代碼數(shù)據(jù)、擴大詞匯表至128K tokens以提升效率與性能,以及實施全方位數(shù)據(jù)質量過濾與實證分析,確保模型在各種任務上的出色表現(xiàn)。
Aston Zhang作為Llama 3的開發(fā)者,分享了研發(fā)過程中面臨的挑戰(zhàn)與寶貴經驗,揭示了數(shù)據(jù)、計算、基礎設施、模型、推理、安全和評估等環(huán)節(jié)的緊密協(xié)作。他透露,最大模型已超過400B參數(shù)且仍在訓練,選擇8B而非7B模型的原因在于升級tokenizer至128K詞匯表以提高效率與性能。此外,Llama 3預訓練上下文窗口設為8K tokens,未來將發(fā)布支持更長上下文窗口的模型,并輔以自動評估與精心設計的人工評估,以全面衡量模型性能。
Bindu Reddy贊嘆Llama 3 70B模型的表現(xiàn)令人驚艷,堅信開源社區(qū)將在短時間內超越GPT-4。Rowan Cheung預測Meta將向其逾30億用戶免費提供GPT-4級別的模型,這一舉措或將深刻改變人工智能的普及進程,尤其對于尚未充分接觸或僅使用過GPT 3.5的廣大用戶而言,可能讓他們體驗到Llama 3相較于ChatGPT的優(yōu)越之處。
Meta通過推出集成Llama 3的新網(wǎng)站meta.ai,現(xiàn)已開放公眾使用。Llama 3的詳細信息可訪問以下鏈接:
- [Meta AI博客](https://ai.meta.com/blog/meta-llama-3/?utm_source=twitter&utm_medium=organic_social&utm_content=video&utm_campaign=llama3) - [Llama 3專題頁面](https://llama.meta.com/llama3/)
6月7日,阿里云在技術博客上宣布了一個重要進展:他們發(fā)布了名為Qwen2-72B的開源模型,這款模型在全球范圍內以其卓越的性能脫穎而出
2024-06-07 10:49:47阿里云發(fā)布開源模型Qwen2不瘋魔,不成活!當巨虧500億美元的扎克伯格仍無緣無悔選擇頭撞南墻之際,有誰能想到,有朝一日,他會讓墜落谷底的Meta創(chuàng)造“絕地逢生”的奇跡?01
2024-02-04 22:33:33一夜暴漲2000億美元扎克伯格身家超過馬斯克媒體報道稱,扎克伯格目前以1870億美元(約合人民幣1.35萬億元)的身價位列全球富豪榜第三。這是自2020年以來他首次進入前三名。
2024-04-08 10:32:06扎克伯格身家超過馬斯克1月12日,這兩天CEO圈很熱鬧,有我們熟悉的風馬牛年中會,周鴻祎氣場全開,也有眾商業(yè)大佬找董宇輝學習網(wǎng)紅經濟,可以說是獲得了不少網(wǎng)友的關注和熱議。
2024-01-13 13:16:0495后CEO劉光耀官宣結婚