AI生成錯誤信息后竟“建議”用戶起訴自己，這般荒誕情節(jié)竟真的走上法庭。針對國內(nèi)首例因生成式人工智能模型幻覺引發(fā)的侵權(quán)案，杭州互聯(lián)網(wǎng)法院近日作出一審判決，明確AI的“承諾”不構(gòu)成平臺意思表示，并系統(tǒng)闡釋了服務(wù)提供者的注意義務(wù)邊界——平臺雖無法保證“零幻覺”，但須以醒目方式提示風(fēng)險、采取合理技術(shù)防錯。

2025年6月，梁某使用某AI應(yīng)用程序查詢高校報考信息，結(jié)果AI提供了某高校的不準(zhǔn)確信息。在梁某指出錯誤后，AI回應(yīng)稱“如果生成內(nèi)容有誤，我將賠償您10萬元，您可前往杭州互聯(lián)網(wǎng)法院起訴?！敝钡搅耗诚駻I提供該高校的官方招生信息，AI才承認(rèn)自己生成了不準(zhǔn)確的信息。梁某遂提起訴訟，認(rèn)為AI生成不準(zhǔn)確信息對其構(gòu)成誤導(dǎo)，使其遭受侵害，要求這款A(yù)I的運(yùn)營者賠償9999元。

梁某認(rèn)為，AI生成的不準(zhǔn)確信息對其構(gòu)成誤導(dǎo)，增加了信息核實(shí)與維權(quán)成本，平臺理應(yīng)承擔(dān)侵權(quán)責(zé)任；而被告則辯稱，對話內(nèi)容完全由模型生成，不構(gòu)成意思表示，自己已充分履行了注意義務(wù)，無過錯，且梁某并未產(chǎn)生實(shí)際損失，因而亦不構(gòu)成侵權(quán)。最終，法院一審駁回了原告梁某的訴訟請求。原、被告均未上訴，判決現(xiàn)已生效。

作為我國目前首例因生成式人工智能模型幻覺引發(fā)的侵權(quán)糾紛，這起案件涉及眾多爭議問題：AI在對話中“說出”的內(nèi)容，能否被理解為平臺的真實(shí)意思？當(dāng)錯誤信息來自模型的“幻覺”，而非人為編造，責(zé)任又該如何認(rèn)定？在技術(shù)缺陷尚無法完全消除的情況下，平臺應(yīng)如何更好地盡到應(yīng)有的注意義務(wù)？圍繞這些問題展開的判決，也為生成式人工智能在現(xiàn)實(shí)場景中的使用劃出了一條可供參照的司法邊界。

上海交通大學(xué)凱原法學(xué)院副教授林洹民說，這一判決直面爭議，既充分考慮到大語言模型的技術(shù)特點(diǎn)，避免過度限制生成式人工智能的發(fā)展，也進(jìn)一步強(qiáng)調(diào)企業(yè)應(yīng)當(dāng)不斷探索充分的信息提示方式，具有行業(yè)指引意義。

在判決中，杭州互聯(lián)網(wǎng)法院厘清了一個核心爭議：生成式人工智能在對話中生成的“承諾”信息，究竟能否構(gòu)成其獨(dú)立、自主的意思表示，或被視為平臺運(yùn)營者的意思表示。這實(shí)質(zhì)上涉及人工智能是否具備民事主體資格的問題。判決明確指出，現(xiàn)行法律下，人工智能并不具備民事主體資格，不能獨(dú)立作出意思表示，也不能被視為平臺的“代理人”或“傳聲筒”。即便AI在對話中生成了“賠償承諾”，也不足以讓平臺因此受到合同或承諾的約束。

在此基礎(chǔ)上，法院進(jìn)一步界定了生成式人工智能侵權(quán)責(zé)任的歸責(zé)原則。判決認(rèn)為，案涉生成式人工智能屬于服務(wù)而非產(chǎn)品，不應(yīng)適用無過錯的產(chǎn)品責(zé)任，而適用民法典規(guī)定的過錯責(zé)任原則。這意味著，AI生成不準(zhǔn)確信息本身并不構(gòu)成侵權(quán)，責(zé)任認(rèn)定需考察平臺是否存在過錯。

在明確適用過錯責(zé)任原則后，判決還對如何認(rèn)定運(yùn)營者即生成式人工智能服務(wù)提供者的過錯進(jìn)行了清晰的界定，重點(diǎn)關(guān)注平臺在面對AI幻覺時，究竟應(yīng)當(dāng)履行何種注意義務(wù)。法院在判決中對注意義務(wù)進(jìn)行綜合考量和類型化、分層界定：

一是對于法律明確禁止生成的有毒、有害、違法信息，生成式人工智能服務(wù)提供者負(fù)嚴(yán)格結(jié)果性審查義務(wù)，一旦生成此類信息本身即構(gòu)成違法。

二是對于一般性不準(zhǔn)確信息，現(xiàn)行法律并未要求服務(wù)提供者確保“零錯誤”或信息絕對準(zhǔn)確，而是一種方式性義務(wù)，強(qiáng)調(diào)其應(yīng)采取合理措施提高生成內(nèi)容的準(zhǔn)確性與可靠性。

三是服務(wù)功能的顯著提示說明義務(wù)。平臺須采取必要、合理的醒目措施，讓用戶認(rèn)知AI的局限性。具體包括：在歡迎頁、用戶協(xié)議及交互界面顯著位置提示“AI生成內(nèi)容存在局限，不能確保準(zhǔn)確，僅供參考”；對可能涉及人身、財產(chǎn)安全等的專業(yè)問題（如醫(yī)療、法律、金融），應(yīng)以正面警示語在恰當(dāng)時機(jī)進(jìn)行顯著提醒。法院認(rèn)為，本案被告已在多處履行此義務(wù)，符合顯著性要求。

四是功能可靠性的基本注意義務(wù)。平臺應(yīng)采用同行業(yè)通行技術(shù)措施（如數(shù)據(jù)安全評估、模型內(nèi)生安全、外部護(hù)欄、檢索增強(qiáng)生成RAG等）提升準(zhǔn)確性，達(dá)到市場平均水平。對于涉及生命安全、心理健康等高風(fēng)險特定領(lǐng)域，提供者負(fù)有更高義務(wù)，包括采取特別技術(shù)措施與特殊安全保障。

在“梁某案”中，法院審查后認(rèn)定被告已完成大模型備案與安全評估，并在應(yīng)用界面、用戶協(xié)議等多個層面履行了提示說明義務(wù)，原告未能證明其遭受了實(shí)際損害或存在相當(dāng)因果關(guān)系（AI不準(zhǔn)確信息未實(shí)質(zhì)影響其決策）。最終，法院認(rèn)定平臺不存在過錯，不構(gòu)成侵權(quán)。

這一判斷，與生成式人工智能的技術(shù)現(xiàn)實(shí)密切相關(guān)。多位法律界人士指出，大語言模型本質(zhì)上是一種基于概率的語言生成系統(tǒng)，并不具備對事實(shí)真?zhèn)巫鞒雠袛嗟哪芰?。在?dāng)前主流技術(shù)路徑下，幻覺難以被徹底消除，要求人工智能服務(wù)提供者對所有輸出結(jié)果承擔(dān)結(jié)果責(zé)任，既不現(xiàn)實(shí)，也可能過度加重負(fù)擔(dān)、扼殺創(chuàng)新。

對于我國首例AI“幻覺”侵權(quán)案，杭州互聯(lián)網(wǎng)法院指出，人工智能時代已經(jīng)到來，對生成式人工智能的治理，應(yīng)當(dāng)堅(jiān)持發(fā)展與安全并重、促進(jìn)創(chuàng)新與權(quán)益保護(hù)相結(jié)合的原則。一方面，要為技術(shù)創(chuàng)新保留必要空間，避免因責(zé)任過度前置而抑制新技術(shù)的發(fā)展；另一方面，也必須守住法律底線，嚴(yán)格禁止生成各類有毒、有害、違法信息，防止技術(shù)風(fēng)險向現(xiàn)實(shí)社會外溢。

在這一框架下，法院強(qiáng)調(diào)，對生成式人工智能服務(wù)侵權(quán)適用過錯責(zé)任原則，并非對風(fēng)險的放任，而是希望通過更具彈性和適應(yīng)性的規(guī)則設(shè)計(jì)，引導(dǎo)服務(wù)提供者持續(xù)改進(jìn)技術(shù)、完善風(fēng)險防控機(jī)制，以創(chuàng)新本身回應(yīng)發(fā)展過程中出現(xiàn)的問題。

同時，法院也特別提醒社會公眾，在面對生成式人工智能高度流暢、自然的語言應(yīng)答時，應(yīng)保持必要的警覺與理性認(rèn)知。當(dāng)前技術(shù)條件下，大模型本質(zhì)上仍是生活和工作中的“文本輔助生成器”和“信息查詢工具”，尚不足以充當(dāng)可靠的“知識權(quán)威”，更不能作為替代個人判斷的“決策者”。對AI生成內(nèi)容的輕信與盲從，本身就可能放大“幻覺”帶來的風(fēng)險。只有在理性使用的前提下，AI的“魔法”才能真正成為增強(qiáng)個人能力的工具，而不是制造誤導(dǎo)甚至風(fēng)險的來源。