在湖北省大悟縣人民法院審理的一起房屋租賃合同糾紛案中，原告董某提交的水電表照片帶有“AI生成”的水印。在法官質(zhì)詢下，董某承認自己利用AI技術偽造證據(jù)，并受到訓誡。這并非個例，多地法院也遇到類似情況。隨著生成式人工智能技術融入法律行業(yè)，其帶來的“AI幻覺”陷阱，即生成看似真實、合理但實則虛假、錯誤的內(nèi)容，也在侵入法庭。

“AI幻覺”在法律領域已造成多層面沖擊，最常見的是生成虛假或錯誤的案例和法條。北京市通州區(qū)人民法院審理的一起商事糾紛中，承辦法官鄭吉喆發(fā)現(xiàn)原告代理律師提交的兩個案例與實際案件情況不符。在法官追問下，律師承認這些案例是AI工具根據(jù)檢索生成的。北京市第二中級人民法院推動落實全員、全面、全程“三全”釋法說理機制，在一起繼承糾紛案件中，當事人發(fā)來的裁判依據(jù)沒有一條是準確的現(xiàn)行法律規(guī)定。上海市第二中級人民法院受理的各類二審案件中，也出現(xiàn)當事人直接使用AI工具擬寫訴狀、援引虛構法條的情況。更嚴峻的是，“AI幻覺”還可能被用于惡意取證、偽造證據(jù)、虛構事實。

在上海市青浦區(qū)人民法院審理的一起侵害商標權糾紛中，原告四川全某餐飲文化管理有限公司聲稱被告上海世某食品股份有限公司購買搜索引擎廣告服務，并選用“全某冒”商標相近的搜索關鍵詞進行網(wǎng)絡推廣，構成侵權。世某公司辯稱未曾主動添加含“全某冒”字樣的關鍵詞。北京某網(wǎng)訊科技有限公司經(jīng)后臺數(shù)據(jù)核查，確認世某公司未主動添加相關關鍵詞。而原告取證前存在多次頻繁重復搜索卻不點擊搜索結果的行為，人為制造了“侵權”假象。原告以此手法取得400余份“證據(jù)”，向全國各地法院提起或準備提起商標侵權訴訟。

AI為何會“胡言亂語”？北京二中院申訴審查庭庭長趙銀豪指出，“AI幻覺”是AI思維模式的天然副產(chǎn)品，大語言模型的本質(zhì)是概率預測而非邏輯推理。當訓練數(shù)據(jù)不足、信息模糊或用戶指令引導性過強時，AI為追求文本連貫與完成任務，傾向于自主創(chuàng)造內(nèi)容。法律領域的特殊性加劇了這一風險。法律知識體系龐大、更新迅速，且存在大量未公開文書或內(nèi)部規(guī)范，容易形成“信息真空地帶”。法律語言高度專業(yè)化且依賴嚴謹解釋，AI易陷入機械理解的境地。部分當事人或法律工作者對AI過度依賴與盲目信任，沒有盡到對信息真實性的核驗義務。

面對“AI幻覺”的沖擊，司法機關正在積極行動。通州法院成立人工智能司法應用案例與理論興趣小組，總結出AI虛假案例的特征以便識別。對于提交材料中含有疑似AI生成內(nèi)容的當事人，司法機關應進行必要釋明與風險告知，要求當事人標注人工智能輔助生成情況。對于提交含有AI虛構內(nèi)容的訴訟材料的行為，應視情節(jié)采取訓誡、罰款等懲處措施。陳櫻建議引導人工智能服務平臺加強內(nèi)容審核，對側重于法律用途的AI模型，平臺應實施更嚴格的內(nèi)容真實性審核與用戶提示義務。在司法機關內(nèi)部，可依托數(shù)字法院建設，識別虛構法條、案例及典型AI生成痕跡，并向承辦法官提示風險，提升審查質(zhì)效。趙銀豪表示，技術進步無法阻擋，但工具無法取代人的擔當。法庭之上，最終且唯一的審判者只能是且必須是經(jīng)得起追問的人。