華人科學(xué)家登上Nature：幾行代碼，優(yōu)化復(fù)合AI系統(tǒng) TextGrad引領(lǐng)自動優(yōu)化新浪潮

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2025-03-24 11:53:32 新浪

華人科學(xué)家登上Nature：幾行代碼，優(yōu)化復(fù)合AI系統(tǒng) TextGrad引領(lǐng)自動優(yōu)化新浪潮！斯坦福大學(xué)副教授 James Zou 領(lǐng)導(dǎo)的團隊提出了 TextGrad，這是一種通過文本自動化“微分”反向傳播大語言模型（LLM）文本反饋來優(yōu)化 AI 系統(tǒng)的方法。目前，AI 領(lǐng)域的許多突破都是由多個大語言模型和其他專業(yè)工具協(xié)同工作的系統(tǒng)驅(qū)動，這些系統(tǒng)主要依賴領(lǐng)域?qū)＜业氖止ぶ谱骱蛦l(fā)式調(diào)整，而不是自動優(yōu)化。

TextGrad 的靈感來源于人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程。在人工神經(jīng)網(wǎng)絡(luò)中，反向傳播和自動分化技術(shù)的引入簡化了優(yōu)化過程，從而推動了該領(lǐng)域的進步。同樣，TextGrad 通過反向傳播 LLM 生成的反饋來執(zhí)行優(yōu)化，以改進人工智能系統(tǒng)。只需幾行代碼，用戶就可以將用于分類數(shù)據(jù)的“逐步推理”提示轉(zhuǎn)換為更復(fù)雜的、針對特定應(yīng)用的提示。

TextGrad 是一個多功能框架，基于三個原則構(gòu)建：一切皆為文本，使用語言模型評估輸出、評論它們并更新輸入。這個框架利用自然語言反饋對系統(tǒng)的任何部分提出改進建議，從提示到輸出，如分子或治療方案等。相關(guān)研究論文發(fā)表在《Nature》上，展示了如何在博士級問題解答和高難度編程問題中實現(xiàn) SOTA 性能，并通過優(yōu)化藥物發(fā)現(xiàn)的分子和治療方案來解決科學(xué)問題。研究表明，無需修改框架，TextGrad 即可在多個領(lǐng)域發(fā)揮作用。

TextGrad 提供了一個遵循 PyTorch 語法的 API，允許用戶通過使用僅由語言模型提供的文本反饋來優(yōu)化任何提示或結(jié)果。它還允許語言模型自我完善其響應(yīng)，評估由任何潛在的黑盒函數(shù)提供，例如語言模型本身或代碼解釋器的輸出。研究團隊在解法優(yōu)化、代碼優(yōu)化、推理提示優(yōu)化、放療計劃優(yōu)化以及復(fù)合人工智能系統(tǒng)優(yōu)化方面進行了實驗。在放射治療計劃優(yōu)化中，TextGrad 表現(xiàn)優(yōu)于臨床計劃，實現(xiàn)了更高的平均劑量和與規(guī)定劑量完全一致的 D95，同時降低了對健康器官的劑量。

12 全文共 2 頁下一頁

關(guān)閉

華人科學(xué)家登上Nature：幾行代碼，優(yōu)化復(fù)合AI系統(tǒng) TextGrad引領(lǐng)自動優(yōu)化新浪潮

相關(guān)新聞

今日熱點

頻道熱點

華人科學(xué)家登上Nature：幾行代碼，優(yōu)化復(fù)合AI系統(tǒng) TextGrad引領(lǐng)自動優(yōu)化新浪潮