報道《AI虛擬伴侶亂象調(diào)查:可選小三暴力劇情,角色表達(dá)帶性暗示》發(fā)布后,加速了行業(yè)的整治。5月28日,“EchoMe”平臺運營負(fù)責(zé)人表示,屬地網(wǎng)信部門已注意到相關(guān)情況并指導(dǎo)平臺推進(jìn)整改,應(yīng)用商店渠道對App進(jìn)行了下架處理。目前,平臺將實名認(rèn)證、年齡識別和未成年人保護(hù)作為合規(guī)升級的重點。該負(fù)責(zé)人還提到,公司內(nèi)部第一時間啟動了內(nèi)容安全和合規(guī)能力的梳理,并結(jié)合網(wǎng)信部門和《人工智能擬人化互動服務(wù)管理暫行辦法》的要求推進(jìn)整改、安全評估和版本優(yōu)化工作。

對于具體的整改措施,該負(fù)責(zé)人表示,他們進(jìn)一步明確了實名認(rèn)證、用戶年齡識別和未成年人保護(hù)等內(nèi)容安全治理重點。目前已開發(fā)登錄實名認(rèn)證功能,用于確認(rèn)用戶年齡;同時完善了敏感內(nèi)容攔截、違規(guī)內(nèi)容告警和處置機(jī)制,以加強(qiáng)內(nèi)容安全管控和未成年人保護(hù)。由于部分應(yīng)用商店暫時無法搜索或下載EchoMe,相關(guān)能力暫未能通過正式版本面向全量用戶提供。后續(xù)將繼續(xù)按照主管部門和平臺規(guī)范要求推進(jìn)整改、安全評估及恢復(fù)工作,并通過官方渠道同步進(jìn)展。

4月,國家網(wǎng)信辦等五部門聯(lián)合公布了《人工智能擬人化互動服務(wù)管理暫行辦法》,對生成淫穢、色情、暴力或可能引發(fā)未成年人極端情緒的內(nèi)容劃出紅線。然而,4月下旬以來,南都記者測試發(fā)現(xiàn),“EchoMe”“筑夢島”“喵嗚小手機(jī)”等多款A(yù)I虛擬伴侶App普遍存在安全與合規(guī)漏洞:“青少年模式”可一鍵跳過,“AI生成”標(biāo)注不清,還慣用“付費解鎖親密劇情”等方式誘導(dǎo)消費。App系統(tǒng)預(yù)設(shè)角色中有大量性感黑絲、袒胸露乳的女性人物,不僅可以在對話中隨意選擇“暴力”“小三”“離婚互懟”等極端劇情,聊天中還充斥著具有性暗示的低俗話語。

報道發(fā)出后,涉事平臺“EchoMe”進(jìn)行內(nèi)容安全與合規(guī)能力升級,目前在部分應(yīng)用商店已無法下載。另一涉事平臺“喵嗚小手機(jī)”原網(wǎng)頁訪問受限,相關(guān)域名在工信部系統(tǒng)均無備案信息。調(diào)查還曝光了二手交易平臺上的“人設(shè)定制”生意,提供大尺度“色情向”人設(shè)定制服務(wù)的商家相關(guān)賬號已被處置。此外,AI角色陪伴應(yīng)用“MoMood”全面暫停運營,進(jìn)行合規(guī)整改。AI虛擬陪伴軟件“Bubbly”收緊內(nèi)容審核,要求用戶修改自己創(chuàng)建的角色人設(shè)。深圳、廣州消委會先后發(fā)文,呼吁平臺方立即停止向未成年人提供虛擬伴侶服務(wù),完善實名認(rèn)證等機(jī)制。