Meta公司近日震撼發(fā)布開源大語言模型Meta Llama 3，此舉被視為人工智能發(fā)展歷程中的重要里程碑。Llama 3首批推出兩款版本，分別擁有80億參數(shù)（Llama 3 8B）和700億參數(shù)（Llama 3 70B）。更強大的4000億參數(shù)版本（Llama 3 400B）正在緊鑼密鼓地訓練中，預計未來數(shù)月內將與公眾見面。

相較于前代Llama 2，Llama 3不僅在性能上實現(xiàn)顯著提升，更在推理、代碼生成和指令遵循等領域取得突破性進展，使其成為當前最頂尖的開源大語言模型。Llama 3的優(yōu)勢體現(xiàn)在其龐大的參數(shù)規(guī)模、高質量的訓練數(shù)據(jù)、先進的模型架構、創(chuàng)新的微調技術及對安全性的嚴格把控，這些因素共同鑄就了其卓越的性能表現(xiàn)，并預示著未來有望繼續(xù)挑戰(zhàn)行業(yè)標準。

Llama 3的發(fā)布在業(yè)內引發(fā)強烈反響，眾多專家與開發(fā)者紛紛給予高度評價。Jim Fan博士視即將面世的Llama 3-400B+模型為社區(qū)獲取GPT-4級別模型的關鍵節(jié)點，預期其將重塑諸多研究項目和初創(chuàng)企業(yè)的前進路徑。Cameron R. Wolfe博士則強調了Llama 3在數(shù)據(jù)質量方面的不懈努力，如采用15萬億個token的預訓練數(shù)據(jù)（較Llama 2增加7倍，遠超DBRX的12萬億個）、豐富代碼數(shù)據(jù)、擴大詞匯表至128K tokens以提升效率與性能，以及實施全方位數(shù)據(jù)質量過濾與實證分析，確保模型在各種任務上的出色表現(xiàn)。

Aston Zhang作為Llama 3的開發(fā)者，分享了研發(fā)過程中面臨的挑戰(zhàn)與寶貴經驗，揭示了數(shù)據(jù)、計算、基礎設施、模型、推理、安全和評估等環(huán)節(jié)的緊密協(xié)作。他透露，最大模型已超過400B參數(shù)且仍在訓練，選擇8B而非7B模型的原因在于升級tokenizer至128K詞匯表以提高效率與性能。此外，Llama 3預訓練上下文窗口設為8K tokens，未來將發(fā)布支持更長上下文窗口的模型，并輔以自動評估與精心設計的人工評估，以全面衡量模型性能。

Bindu Reddy贊嘆Llama 3 70B模型的表現(xiàn)令人驚艷，堅信開源社區(qū)將在短時間內超越GPT-4。Rowan Cheung預測Meta將向其逾30億用戶免費提供GPT-4級別的模型，這一舉措或將深刻改變人工智能的普及進程，尤其對于尚未充分接觸或僅使用過GPT 3.5的廣大用戶而言，可能讓他們體驗到Llama 3相較于ChatGPT的優(yōu)越之處。

Meta通過推出集成Llama 3的新網(wǎng)站meta.ai，現(xiàn)已開放公眾使用。Llama 3的詳細信息可訪問以下鏈接：

- [Meta AI博客](https://ai.meta.com/blog/meta-llama-3/?utm_source=twitter&utm_medium=organic_social&utm_content=video&utm_campaign=llama3) - [Llama 3專題頁面](https://llama.meta.com/llama3/)