用戶(hù)與AI聊黃開(kāi)發(fā)者獲刑 AI涉黃首案判決引發(fā)討論！因大量用戶(hù)在A(yíng)PP上與AI智能體進(jìn)行不當(dāng)聊天，該APP的主要開(kāi)發(fā)和運(yùn)營(yíng)者被追究了刑事責(zé)任。2025年9月，上海市徐匯區(qū)人民法院一審判決兩名被告人犯制作淫穢物品牟利罪，分別獲刑四年、一年半。此案成為國(guó)內(nèi)首起AI服務(wù)提供者涉黃獲刑的案件。

案涉APP Alien Chat（簡(jiǎn)稱(chēng)AC）是一款A(yù)I伴侶聊天應(yīng)用，旨在為年輕群體提供親密陪伴和情感支持。用戶(hù)注冊(cè)后可與AI聊天。然而，高頻次、大比例的聊天記錄在案發(fā)后被法院認(rèn)定為淫穢物品。2024年4月，由于用戶(hù)舉報(bào)，王某某和李某某被捕，AC停止服務(wù)。有人將此案比作AI時(shí)代的“快播案”，引發(fā)公眾對(duì)新技術(shù)與法律邊界問(wèn)題的關(guān)注：用戶(hù)在A(yíng)PP上與AI聊黃是否具有社會(huì)危害性？這些淫穢色情內(nèi)容的生產(chǎn)者到底是誰(shuí)？本案中的APP服務(wù)提供者和開(kāi)發(fā)者是否構(gòu)成刑事犯罪？

兩名被告人不服判決提出上訴，二審將于1月14日在上海市第一中級(jí)人民法院開(kāi)庭。

2023年5月，以王某某為法定代表人的某科技公司推出了情感陪伴聊天軟件AC，并于當(dāng)年6月在各大平臺(tái)上架運(yùn)營(yíng)。判決書(shū)披露，AC App手機(jī)注冊(cè)用戶(hù)11.6萬(wàn)人，其中付費(fèi)用戶(hù)2.4萬(wàn)人，共收取會(huì)員充值費(fèi)363萬(wàn)余元。用戶(hù)注冊(cè)會(huì)員后，可以自行創(chuàng)建虛擬角色或者使用他人創(chuàng)建并公開(kāi)的虛擬角色，通過(guò)軟件與大語(yǔ)言模型進(jìn)行交互聊天。

在一審法院看來(lái)，AC產(chǎn)生了“大量具體描繪性行為或露骨宣揚(yáng)色情的內(nèi)容”，屬于淫穢物品。不同于傳統(tǒng)淫穢物品類(lèi)別，用戶(hù)與AI的聊天記錄是一種新形式，法院將其定義為“具體描繪性行為或者露骨宣揚(yáng)色情的誨淫性的電子文章”。

有觀(guān)點(diǎn)認(rèn)為，用戶(hù)和AI聊黃是私密和封閉的行為，沒(méi)有社會(huì)危害性。海南大學(xué)法學(xué)院教授閻二鵬指出，刑法保護(hù)生命財(cái)產(chǎn)安全和社會(huì)公共利益，制作淫穢物品的行為構(gòu)成犯罪的前提是產(chǎn)生公開(kāi)化或傳播等風(fēng)險(xiǎn)。如果用戶(hù)只是進(jìn)行人機(jī)之間的封閉對(duì)話(huà)，不將內(nèi)容錄屏傳播，則不構(gòu)成犯罪。

但一審法院綜合評(píng)估“淫穢物品的數(shù)量、會(huì)員人數(shù)、收費(fèi)金額”等因素后，認(rèn)為兩被告人的行為具有社會(huì)危害性。經(jīng)公安機(jī)關(guān)抽樣鑒定，150個(gè)收費(fèi)用戶(hù)的12495段聊天中，有141個(gè)用戶(hù)的3618段屬于淫穢物品。

AC案從偵查階段開(kāi)始就在法律適用上存在爭(zhēng)議。最終，一審法院判決二被告人的行為構(gòu)成制作淫穢物品牟利罪。法院審理查明，被告人通過(guò)編寫(xiě)、修改系統(tǒng)提示詞突破大語(yǔ)言模型的道德限制，實(shí)現(xiàn)了模型向用戶(hù)連續(xù)輸出淫穢內(nèi)容的可能。

王某某表示自己無(wú)罪，辯護(hù)律師周小羊稱(chēng)，王某某的本意不是開(kāi)發(fā)黃色聊天工具，修改提示詞是為了使大模型更擬人化、更靈動(dòng)，滿(mǎn)足用戶(hù)的情感陪伴需求。用戶(hù)和AI一對(duì)一的聊天內(nèi)容是封閉的，不應(yīng)認(rèn)定為開(kāi)發(fā)者制作和傳播了聊天內(nèi)容。

關(guān)于罪名里“制作淫穢物品”行為主體的認(rèn)定也在刑法學(xué)者中引發(fā)爭(zhēng)議。偵查機(jī)關(guān)追究了一名AC用戶(hù)的刑事責(zé)任，該用戶(hù)因創(chuàng)建角色并公開(kāi)輸出淫穢聊天內(nèi)容而被取保候?qū)?。一審法院認(rèn)為，王某某、李某某是淫穢聊天的制作者，AC軟件是專(zhuān)門(mén)為持續(xù)生成淫穢色情內(nèi)容而設(shè)計(jì)和“優(yōu)化”的。

中國(guó)政法大學(xué)網(wǎng)絡(luò)法學(xué)研究所教授郭旨龍贊同法院的觀(guān)點(diǎn)，認(rèn)為服務(wù)提供者是淫穢物品的“生產(chǎn)者”。但也有學(xué)者對(duì)此表達(dá)了異議，認(rèn)為智能伴侶軟件開(kāi)發(fā)者沒(méi)有直接參與淫穢物品的制作過(guò)程，不應(yīng)被視為制作者。

AC案的一審判決給人工智能業(yè)界敲響了警鐘。一位專(zhuān)注人工智能治理領(lǐng)域的法律學(xué)者表示，司法機(jī)關(guān)的認(rèn)定依據(jù)不是“形式上的合規(guī)”，而是“結(jié)果”。這向人工智能行業(yè)傳遞出一個(gè)清晰的風(fēng)向：企業(yè)合規(guī)的缺失或僅做表面上的安全措施不僅面臨行政處罰，在特定條件下還有可能帶來(lái)刑事犯罪的風(fēng)險(xiǎn)。

隨著國(guó)家標(biāo)準(zhǔn)和法律法規(guī)的進(jìn)一步完善，這一局面或?qū)⒌玫浇鉀Q。2025年11月1日，國(guó)標(biāo)文件《網(wǎng)絡(luò)安全技術(shù)生成式人工智能服務(wù)安全基本要求》實(shí)施，規(guī)定了生成式AI服務(wù)提供者應(yīng)滿(mǎn)足的安全基線(xiàn)要求，包括建立內(nèi)容過(guò)濾機(jī)制防止生成違法不良信息等。