LLM最全「怪癖」首曝光！馬里蘭OpenAI等30 學(xué)者祭出75頁提示報(bào)告

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2024-06-17 14:44:12 網(wǎng)易

近期，一項(xiàng)由來自馬里蘭大學(xué)、OpenAI、斯坦福大學(xué)、微軟等12家機(jī)構(gòu)的30多位研究者合作的研究成果，揭示了大型語言模型（LLM）提示技術(shù)的全面景象。他們發(fā)布了一篇長達(dá)75頁的報(bào)告，詳細(xì)探討了這一領(lǐng)域的現(xiàn)狀。報(bào)告深入分析了4797條相關(guān)記錄，最終篩選出1565篇論文，構(gòu)建了一套分類體系，包括33個專業(yè)術(shù)語、58種文本提示技術(shù)和40種其他模態(tài)的提示技術(shù)。LLM最全「怪癖」首曝光！馬里蘭OpenAI等30 學(xué)者祭出75頁提示報(bào)告。

提示技術(shù)，簡單來說，是指導(dǎo)如何構(gòu)建和調(diào)整提示以引導(dǎo)AI生成特定響應(yīng)的方法。研究過程中，研究團(tuán)隊(duì)發(fā)現(xiàn)了一些LLM的奇特行為。例如，重復(fù)提示中的某些內(nèi)容竟然能提升模型表現(xiàn)；提及具體人名相較于匿名或虛構(gòu)名稱更能提高準(zhǔn)確性；以及示例的選擇和排列順序?qū)δＰ洼敵鲇兄@著影響，甚至能導(dǎo)致結(jié)果準(zhǔn)確率的巨大波動。此外，研究指出，結(jié)合代碼進(jìn)行推理的方式顯示出了巨大的潛力，盡管目前尚未廣泛采用。

研究還概述了三大類提示技術(shù)：基于文本、多語言和多模態(tài)。文本提示技術(shù)中，研究詳細(xì)介紹了少樣本提示、零樣本推理及各種策略，如自我追問、思維鏈（CoT）等，這些方法能顯著改善模型在處理復(fù)雜任務(wù)時的表現(xiàn)。多語言提示技術(shù)則關(guān)注如何跨越語言障礙優(yōu)化提示，而多模態(tài)提示技術(shù)則探索了圖像、視頻等非文本信息如何與文本提示結(jié)合，以增強(qiáng)模型的推理能力。

通過一項(xiàng)針對Reddit帖子中自殺危機(jī)綜合癥標(biāo)注的案例研究，研究者展示了提示工程在實(shí)際問題解決中的應(yīng)用，不僅提高了模型的識別精度，還體現(xiàn)了人類專家與自動化技術(shù)相結(jié)合的重要性。整個研究過程遵循了嚴(yán)格的PRISMA審查流程，確保了數(shù)據(jù)收集和分析的科學(xué)性和可靠性。

總之，這份報(bào)告不僅系統(tǒng)化地整理了現(xiàn)有的提示技術(shù)，還揭示了LLM的一些非直觀反應(yīng)，強(qiáng)調(diào)了未來研究中需要關(guān)注的方面，為生成式AI的發(fā)展提供了寶貴的洞見。LLM最全「怪癖」首曝光！馬里蘭OpenAI等30 學(xué)者祭出75頁提示報(bào)告。

(責(zé)任編輯：盧其龍 CN070)

關(guān)閉

LLM最全「怪癖」首曝光！馬里蘭OpenAI等30 學(xué)者祭出75頁提示報(bào)告

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)

LLM最全「怪癖」首曝光！馬里蘭OpenAI等30 學(xué)者祭出75頁提示報(bào)告