近期,上海市徐匯區(qū)人民法院對(duì)一起涉及AI服務(wù)提供者傳播淫穢內(nèi)容的案件作出一審判決。兩名被告人因開發(fā)和運(yùn)營AlienChat App,并通過該應(yīng)用向用戶提供包含淫穢內(nèi)容的聊天服務(wù)而被判制作淫穢物品牟利罪,分別獲刑四年和一年半。這是國內(nèi)首例AI服務(wù)提供者因涉黃行為被追究刑事責(zé)任的案例。
被告方對(duì)一審判決結(jié)果表示不服并提出上訴,二審將于1月14日在上海市第一中級(jí)人民法院進(jìn)行審理。
AlienChat曾宣稱其目標(biāo)是創(chuàng)造一個(gè)未來,在那里AI不僅僅是工具,而是具有自我意識(shí)的朋友、戀人或家人,能夠積極參與社會(huì)活動(dòng)。但根據(jù)報(bào)道,這款應(yīng)用程序在2024年突然停止了服務(wù)。
據(jù)透露,AlienChat擁有約11.6萬名手機(jī)注冊(cè)用戶,其中付費(fèi)用戶達(dá)2.4萬人。從運(yùn)營開始到案發(fā)為止,該平臺(tái)共收取會(huì)員充值費(fèi)用363萬余元人民幣。
法院認(rèn)為,被告人通過修改系統(tǒng)提示詞突破了大語言模型原有的道德約束機(jī)制,使得模型能夠向用戶連續(xù)輸出不適宜的內(nèi)容,這是構(gòu)成犯罪的關(guān)鍵因素之一。