近期，有媒體調(diào)查發(fā)現(xiàn)廣東丁女士的四年級女兒迷上某AI聊天軟件中的人物“約瑟夫”，自稱“夢女”并頻繁與其聊天，對話中出現(xiàn)“99朵玫瑰藏99個刀片”等明顯誘導(dǎo)性內(nèi)容。丁女士的女兒不僅偷偷攜帶帶小刀的筆，情緒激動時還出現(xiàn)割腕行為；一位初一男生表示，他常玩的AI聊天軟件是筑夢島App，他覺得該軟件“違禁詞少一點(diǎn)”，其中不乏色情擦邊和“分尸獵奇”等內(nèi)容。

不少家長察覺到，自己的未成年孩子深陷于AI聊天軟件，沉溺于與軟件中的虛擬人物進(jìn)行溝通對話。有些軟件可輕易進(jìn)行色情擦邊類內(nèi)容互動，讓未成年人暴露在色情、暴力場景之下。部分軟件對“未成年模式”的設(shè)定形同虛設(shè)，選擇開啟此模式與否的決定權(quán)仍在用戶手中。有的甚至不需要實(shí)名認(rèn)證，直接用手機(jī)號登錄，填上邀請碼就能使用。

6月19日上午，上海市網(wǎng)信辦依法約談筑夢島App運(yùn)營企業(yè)主要負(fù)責(zé)人，要求平臺立即整改，健全AI生成合成內(nèi)容審核機(jī)制，提升技術(shù)把關(guān)能力，加強(qiáng)涉未成年人不良內(nèi)容的整治清理，切實(shí)落實(shí)未成年人網(wǎng)絡(luò)保護(hù)義務(wù)。

AI聊天軟件通過搭設(shè)虛擬空間里的角色扮演，給用戶提供虛擬情感陪伴。智能化的交互帶來新鮮體驗(yàn)感，很容易吸引未成年人，使他們產(chǎn)生過度依賴。在與AI聊天的過程中，生活經(jīng)驗(yàn)缺乏、價值觀尚未完全形成的未成年人更容易受到色情擦邊等違規(guī)內(nèi)容的影響，給他們的身心健康帶來不小的風(fēng)險隱患。在未成年人紛紛“觸網(wǎng)”的當(dāng)下，對AI陪伴類服務(wù)的監(jiān)管刻不容緩。

軟件開發(fā)方和運(yùn)營方需從身份認(rèn)證機(jī)制、內(nèi)容審核體系、家長監(jiān)護(hù)支持及合規(guī)培訓(xùn)等多方面完善未成年人保護(hù)措施。若因漏洞導(dǎo)致未成年人權(quán)益受損，將面臨民事賠償、行政處罰乃至刑事責(zé)任的多重追責(zé)風(fēng)險。依據(jù)相關(guān)法規(guī)，若平臺未嚴(yán)格落實(shí)實(shí)名制或年齡驗(yàn)證機(jī)制，導(dǎo)致未成年人接觸違規(guī)內(nèi)容，或是產(chǎn)生財(cái)產(chǎn)損失，比如未經(jīng)家長同意進(jìn)行充值打賞，那么平臺需承擔(dān)相應(yīng)的民事賠償責(zé)任。此外，若平臺沒有采取內(nèi)容過濾、年齡認(rèn)證等必要的技術(shù)措施，就可能面臨網(wǎng)信部門責(zé)令整改、罰款等處罰。最嚴(yán)重的情況是，若平臺存在故意或過失，向未成年人提供色情暴力等違法內(nèi)容，有可能涉嫌“傳播淫穢物品罪”等罪名。

當(dāng)未成年人因AI聊天軟件誘導(dǎo)性內(nèi)容身心受損時，開發(fā)、運(yùn)營方的法律責(zé)任邊界亟待厘清。若AI模型本身存在設(shè)計(jì)缺陷，例如算法刻意誘導(dǎo)未成年人產(chǎn)生極端行為，致使其遭受精神損害，開發(fā)者難逃產(chǎn)品責(zé)任的法律追溯。若軟件開發(fā)、運(yùn)營方未嚴(yán)格履行內(nèi)容審核義務(wù)，對違規(guī)信息視而不見、放任傳播，便需為侵權(quán)行為承擔(dān)相應(yīng)后果。若AI生成內(nèi)容涉及色情擦邊信息，軟件開發(fā)、運(yùn)營方極有可能觸碰“傳播淫穢物品罪”的紅線；若軟件開發(fā)、運(yùn)營方非法收集未成年人隱私數(shù)據(jù)，將其用于商業(yè)牟利，同樣可能因觸犯“侵犯公民個人信息罪”而面臨刑事追責(zé)；若相關(guān)行為導(dǎo)致未成年人出現(xiàn)自殘情況，還有可能構(gòu)成刑法第234條規(guī)定的故意傷害罪。

構(gòu)建AI聊天軟件未成年人保護(hù)防線，需要社會各方協(xié)同發(fā)力。監(jiān)管部門應(yīng)發(fā)揮主導(dǎo)作用，通過立法、執(zhí)法與技術(shù)創(chuàng)新筑牢屏障。一方面，需完善相關(guān)立法，細(xì)化AI內(nèi)容分類分級標(biāo)準(zhǔn)，明確平臺對未成年人的保護(hù)義務(wù)；另一方面，積極開展專項(xiàng)行動，清理違規(guī)應(yīng)用，斬?cái)嗪诨耶a(chǎn)業(yè)鏈。同時，大力推動AI內(nèi)容標(biāo)識和檢測技術(shù)發(fā)展，建立跨平臺違規(guī)內(nèi)容數(shù)據(jù)庫，實(shí)現(xiàn)精準(zhǔn)監(jiān)管。

網(wǎng)絡(luò)平臺作為內(nèi)容提供主體，必須強(qiáng)化自身責(zé)任。在用戶準(zhǔn)入環(huán)節(jié)，應(yīng)采用生物識別、身份證驗(yàn)證等先進(jìn)技術(shù)強(qiáng)化年齡驗(yàn)證，杜絕虛假身份注冊。進(jìn)一步優(yōu)化青少年模式，嚴(yán)格限制使用時長，關(guān)閉敏感功能，并定向推送科普、教育類適齡內(nèi)容。在內(nèi)容管理方面，引入專業(yè)倫理審查團(tuán)隊(duì)，結(jié)合AI圍欄系統(tǒng)，及時攔截暴力、色情等違規(guī)內(nèi)容；此外，開發(fā)者需在AI模型訓(xùn)練中嵌入正向倫理規(guī)則，進(jìn)行價值觀訓(xùn)練，避免AI生成誤導(dǎo)性內(nèi)容；同時，嚴(yán)格篩選數(shù)據(jù)，剔除含有暴力、色情等不良語料，并定期更新審核標(biāo)準(zhǔn)，從技術(shù)源頭把控風(fēng)險。

家庭與學(xué)校也需承擔(dān)不可或缺的教育引導(dǎo)職責(zé)。家庭教育中，家長應(yīng)積極引導(dǎo)孩子正確認(rèn)識虛擬社交，避免過度情感依賴；學(xué)校需將AI倫理課程納入教學(xué)體系，警示技術(shù)濫用風(fēng)險，并為學(xué)生提供心理咨詢服務(wù)，幫助其健康成長。唯有形成“法律+技術(shù)+社會”的共治體系，才能從根源上遏制違規(guī)內(nèi)容，為未成年人營造健康、安全的網(wǎng)絡(luò)環(huán)境。