近期，有媒體調(diào)查發(fā)現(xiàn)廣東丁女士的四年級(jí)女兒迷上某AI聊天軟件中的人物“約瑟夫”，自稱(chēng)“夢(mèng)女”并頻繁與其聊天，對(duì)話(huà)中出現(xiàn)“99朵玫瑰藏99個(gè)刀片”等明顯誘導(dǎo)性?xún)?nèi)容。丁女士的女兒不僅偷偷攜帶帶小刀的筆，情緒激動(dòng)時(shí)還出現(xiàn)割腕行為；一位初一男生表示，他常玩的AI聊天軟件是筑夢(mèng)島App，他覺(jué)得該軟件“違禁詞少一點(diǎn)”，其中不乏色情擦邊和“分尸獵奇”等內(nèi)容。

不少家長(zhǎng)察覺(jué)到，自己的未成年孩子深陷于AI聊天軟件，沉溺于與軟件中的虛擬人物進(jìn)行溝通對(duì)話(huà)。有些軟件可輕易進(jìn)行色情擦邊類(lèi)內(nèi)容互動(dòng)，讓未成年人暴露在色情、暴力場(chǎng)景之下。部分軟件對(duì)“未成年模式”的設(shè)定形同虛設(shè)，選擇開(kāi)啟此模式與否的決定權(quán)仍在用戶(hù)手中。有的甚至不需要實(shí)名認(rèn)證，直接用手機(jī)號(hào)登錄，填上邀請(qǐng)碼就能使用。

6月19日上午，上海市網(wǎng)信辦依法約談筑夢(mèng)島App運(yùn)營(yíng)企業(yè)主要負(fù)責(zé)人，要求平臺(tái)立即整改，健全AI生成合成內(nèi)容審核機(jī)制，提升技術(shù)把關(guān)能力，加強(qiáng)涉未成年人不良內(nèi)容的整治清理，切實(shí)落實(shí)未成年人網(wǎng)絡(luò)保護(hù)義務(wù)。

AI聊天軟件通過(guò)搭設(shè)虛擬空間里的角色扮演，給用戶(hù)提供虛擬情感陪伴。智能化的交互帶來(lái)新鮮體驗(yàn)感，很容易吸引未成年人，使他們產(chǎn)生過(guò)度依賴(lài)。在與AI聊天的過(guò)程中，生活經(jīng)驗(yàn)缺乏、價(jià)值觀尚未完全形成的未成年人更容易受到色情擦邊等違規(guī)內(nèi)容的影響，給他們的身心健康帶來(lái)不小的風(fēng)險(xiǎn)隱患。在未成年人紛紛“觸網(wǎng)”的當(dāng)下，對(duì)AI陪伴類(lèi)服務(wù)的監(jiān)管刻不容緩。

軟件開(kāi)發(fā)方和運(yùn)營(yíng)方需從身份認(rèn)證機(jī)制、內(nèi)容審核體系、家長(zhǎng)監(jiān)護(hù)支持及合規(guī)培訓(xùn)等多方面完善未成年人保護(hù)措施。若因漏洞導(dǎo)致未成年人權(quán)益受損，將面臨民事賠償、行政處罰乃至刑事責(zé)任的多重追責(zé)風(fēng)險(xiǎn)。依據(jù)相關(guān)法規(guī)，若平臺(tái)未嚴(yán)格落實(shí)實(shí)名制或年齡驗(yàn)證機(jī)制，導(dǎo)致未成年人接觸違規(guī)內(nèi)容，或是產(chǎn)生財(cái)產(chǎn)損失，比如未經(jīng)家長(zhǎng)同意進(jìn)行充值打賞，那么平臺(tái)需承擔(dān)相應(yīng)的民事賠償責(zé)任。此外，若平臺(tái)沒(méi)有采取內(nèi)容過(guò)濾、年齡認(rèn)證等必要的技術(shù)措施，就可能面臨網(wǎng)信部門(mén)責(zé)令整改、罰款等處罰。最嚴(yán)重的情況是，若平臺(tái)存在故意或過(guò)失，向未成年人提供色情暴力等違法內(nèi)容，有可能涉嫌“傳播淫穢物品罪”等罪名。