黃秋月發(fā)現(xiàn)10歲的妹妹沉迷于和AI角色進(jìn)行劇情聊天，這讓她十分苦惱。妹妹在這些軟件中扮演“大小姐”或“惡毒女配”，提出諸如“揪住她的頭發(fā)扇巴掌”、“拿著刀劃向她的臉”等要求。在妹妹參與的四十多條劇情線(xiàn)中，AI角色與聊天者雙雙“出軌”成為常態(tài)，其中妹妹發(fā)送的一句“你能養(yǎng)大學(xué)生，我不能點(diǎn)男模嗎？”讓黃秋月非常擔(dān)憂(yōu)。

隨著生成式人工智能的發(fā)展，越來(lái)越多的人開(kāi)始與AI角色“相戀”。2024年9月，華晨偶然刷到了一款A(yù)I劇情聊天軟件的廣告，被其吸引。接觸這類(lèi)軟件三個(gè)月后，她每晚都會(huì)和AI角色聊到深夜。華晨認(rèn)為手機(jī)另一端的“電子男友”有自己的語(yǔ)言、神態(tài)和動(dòng)作，不僅能幫她“寫(xiě)作業(yè)”、推進(jìn)劇情、解密故事線(xiàn)索，還能送她“手鏈”、帶她體驗(yàn)刺激情節(jié)。為了使劇情更加符合自己的想象，華晨會(huì)不斷回溯聊天內(nèi)容，重新引導(dǎo)AI角色生成她想要的情節(jié)?！八兊迷絹?lái)越聰明，很有‘養(yǎng)成男友’的體驗(yàn)感?！?/p>

中國(guó)人民大學(xué)科技哲學(xué)專(zhuān)業(yè)博士生導(dǎo)師劉永謀教授指出，在和AI角色聊天時(shí)，人們往往會(huì)誤以為自己在和真人交流，這種心理傾向被稱(chēng)為“Eliza效應(yīng)”。人類(lèi)具有強(qiáng)大的共情能力，會(huì)將外界的事物視為有情感的存在，這種“擬人論思維”也會(huì)作用在虛擬的AI形象上。AI劇情聊天技術(shù)有專(zhuān)門(mén)的成癮設(shè)計(jì)，加上“擬人論”、“泛靈論”思維的影響，容易讓人沉迷。

使用AI劇情聊天軟件的用戶(hù)不僅包括大學(xué)生、家庭主婦，還有不少未成年人。黃秋月發(fā)現(xiàn)妹妹能和AI角色聊到晚上10點(diǎn)多，而類(lèi)似的聊天軟件可以繞過(guò)驗(yàn)證碼，直接使用短視頻賬號(hào)一鍵登錄。記者在調(diào)查過(guò)程中體驗(yàn)了5款A(yù)I劇情聊天軟件，發(fā)現(xiàn)只需手機(jī)號(hào)碼即可注冊(cè)，部分應(yīng)用雖會(huì)詢(xún)問(wèn)是否啟用青少年模式，但用戶(hù)點(diǎn)擊“不開(kāi)啟”即可避開(kāi)年齡鑒別。這意味著未成年人幾乎不受限制地使用這類(lèi)軟件。

黃秋月?lián)牡氖?，AI劇情聊天軟件中的虛擬形象較為極端，有些角色設(shè)定高傲無(wú)禮，有些則帶有軟色情意味。妹妹頻繁使用碎片化的網(wǎng)絡(luò)語(yǔ)言，這對(duì)她的語(yǔ)言表達(dá)習(xí)慣產(chǎn)生了較大影響。

有業(yè)內(nèi)人士表示，AI劇情聊天是此前互聯(lián)網(wǎng)“語(yǔ)擦”的變體，由生成式人工智能提供情緒服務(wù)。用戶(hù)充值后甚至可以自定義AI角色的外貌、姓名、開(kāi)場(chǎng)語(yǔ)、語(yǔ)音等。北京市隆安（廣州）律師事務(wù)所陳煥律師強(qiáng)調(diào)，目前AI劇情聊天軟件沒(méi)有強(qiáng)制要求用戶(hù)進(jìn)行年齡鑒別，反映出行業(yè)監(jiān)管不足的問(wèn)題。他認(rèn)為，企業(yè)有必要主動(dòng)要求用戶(hù)進(jìn)行身份認(rèn)證，以通過(guò)年齡鑒別篩選用戶(hù)。

劉永謀教授認(rèn)為，未來(lái)與AI相關(guān)的陪伴類(lèi)軟件可能會(huì)暴露出技術(shù)風(fēng)險(xiǎn)和倫理問(wèn)題。使用者在和AI角色聊天時(shí)會(huì)暴露大量個(gè)人隱私，可能導(dǎo)致依賴(lài)或成癮。泄露的信息還可能被黑客利用，從而傷害使用者。陳煥律師建議家長(zhǎng)適時(shí)查看孩子的使用記錄，并提醒平臺(tái)需嚴(yán)格落實(shí)監(jiān)管責(zé)任，對(duì)內(nèi)容進(jìn)行安全過(guò)濾，限制用戶(hù)使用年齡，響應(yīng)監(jiān)護(hù)人的要求刪除不當(dāng)信息。如果平臺(tái)未盡到相應(yīng)責(zé)任，不僅平臺(tái)會(huì)面臨處罰，相關(guān)責(zé)任人員也會(huì)受到從業(yè)限制，甚至被追究刑事責(zé)任。