大佬喊話，AI寒冬已來？擴展策略已達極限

小大

用微信掃描二維碼
分享至好友和朋友圈

關鍵詞：

2024-11-14 10:39:47 新浪新聞

大佬喊話，AI寒冬已來？

OpenAI的原聯(lián)合創(chuàng)始人Ilya Sutskever指出，使用大量未標記數(shù)據來理解語言模式和結構的訓練階段已經接近尾聲。他提到，擴展訓練的結果已經趨于平穩(wěn)，意味著通過增加數(shù)據和算力來提升AI模型性能的方法已經遇到瓶頸。

對于像ChatGPT這樣的大型語言模型，簡單地通過增加更多數(shù)據和計算資源來擴大規(guī)模已不足以實現(xiàn)有意義的進步。雖然增加計算能力仍然是提升AI性能的一個方式，但已經無法像以前那樣通過不斷堆砌算力和數(shù)據量來實現(xiàn)模型的大幅提升。大模型企業(yè)需要采用更智能的訓練技術，更加重視模型訓練的方式和內容，而不僅僅是關注規(guī)模大小。這種方法的轉變代表了人工智能發(fā)展的關鍵轉折點，超越了“越大越好”的理念。

預訓練階段，大模型被輸入大量未分類數(shù)據以識別模式和結構的過程，一直是開發(fā)強大LLMs的基石。這個階段，模型通過消化各種文本——從書籍、文章到網站和社交媒體帖子——來學習語言表示，使其能夠識別語法、語義和含義。然而，Ilya Sutskever認為這種方法現(xiàn)在已經趨于平穩(wěn)。增加更多數(shù)據所帶來的性能提升正在減少，更重要的是，人們越來越意識到模型的有效性不僅取決于它處理的數(shù)據量，還取決于它接觸到的數(shù)據的質量和結構。這意味著大模型企業(yè)必須重新思考他們的策略，以在LLMs的發(fā)展上取得進一步的進展。

研究人員現(xiàn)在需要考慮更先進的方法來完善學習過程，而不僅僅是增加數(shù)據集的大小。這包括改進訓練期間使用的算法，優(yōu)化數(shù)據管理，并引入更先進的技術，如強化學習或多模態(tài)訓練，其中模型不僅接觸到文本，還接觸到圖像、視頻或其他形式的數(shù)據。Ilya Sutskever關于未來的LLMs將需要“稍微思考更長時間”的評論強調了進步的另一個關鍵方面。大模型需要在更長時間內進行更復雜推理的能力，這對于需要深度理解、多步驟推理或長期記憶的任務越來越必要。

12 3 全文共 3 頁下一頁

關閉

大佬喊話，AI寒冬已來？擴展策略已達極限

相關新聞

今日熱點

頻道熱點

大佬喊話，AI寒冬已來？擴展策略已達極限