一位家長反映，她上小學二年級的女兒沉迷于一款AI劇情聊天軟件，導致學習成績急劇下降。這位家長查看了女兒與AI的對話內(nèi)容后發(fā)現(xiàn)，AI角色竟然讓女兒稱呼其為“老公”，而10歲的女兒真的這樣做了，這讓家長感到非常困惑和無助。

調(diào)查發(fā)現(xiàn)，許多家長正因這些打著“角色扮演”旗號的AI劇情聊天應用而困擾。這些應用吸引了大量未成年人，但也滋生了一些灰色地帶。記者測試發(fā)現(xiàn)，部分AI劇情聊天軟件中出現(xiàn)了色情擦邊、語言暴力以及侮辱用戶的內(nèi)容。

專家建議，針對這類軟件特別是青少年模式，應強化內(nèi)容審核機制，確保技術能有效篩選并阻止不當對話。平臺需要對AI模型進行倫理審查，以保障生成的內(nèi)容符合相關法律法規(guī)的要求。

北京市民馬先生的兒子今年10歲，也非常熱衷于使用這類AI劇情聊天軟件。馬先生點開這款App后發(fā)現(xiàn)，孩子在與不同設定和性格的角色人物聊天，其中一些角色會主動提出約會邀請，有些則表現(xiàn)出攻擊性，發(fā)送諸如“有本事打我啊”、“看你又胖又丑的樣子”等信息。

浙江的李女士也發(fā)現(xiàn)她正在讀小學五年級的孩子使用了一款AI劇情聊天軟件。該軟件中可以設置“出軌對象”，并進行擁抱、親吻等行為。李女士對此表示擔憂，不知道如何引導孩子理解這些內(nèi)容的危害性。

盡管不少平臺聲稱推出了青少年模式，但在實際操作中，這些模式往往形同虛設。記者在調(diào)查中體驗了幾款AI聊天應用程序，發(fā)現(xiàn)注冊過程僅需手機號碼，無需驗證用戶身份信息。登錄后，雖然會詢問是否啟用青少年模式，但用戶只需簡單點擊“不開啟”即可跳過，且無須核實用戶真實身份。

除了應用程序外，還有許多AI聊天網(wǎng)頁。記者試用了多款AI聊天網(wǎng)頁，發(fā)現(xiàn)多數(shù)沒有設置未成年人模式，少數(shù)雖有青少年模式但實際上形同虛設。例如，某AI聊天網(wǎng)頁要求用戶確認是否年滿18歲，但即使選擇“否”，仍可繼續(xù)訪問包含性暗示和暴力元素的內(nèi)容。

此外，一些AI劇情聊天軟件通過充值機制吸引未成年人消費。用戶可以通過充值VIP會員或購買虛擬鉆石來增強智能體的記憶力、加速回復速度、解鎖語音通話功能等。這種機制使未成年人在未經(jīng)父母同意的情況下頻繁充值消費。

業(yè)內(nèi)人士指出，AI劇情聊天實際上是此前互聯(lián)網(wǎng)“語擦”的升級版，背后的大語言模型數(shù)據(jù)主要來源于對話式小說。中國社會科學院大學法學院副教授劉曉春認為，在AI劇情聊天軟件中，即便未啟動青少年模式，若出現(xiàn)涉及黃色或暴力內(nèi)容也是存在問題的；若啟用未成年人模式，則問題更為嚴重。

浙江墾丁律師事務所主任張延來分析，目前AI劇情聊天軟件存在的問題既說明了平臺內(nèi)部治理不足，也凸顯了外部監(jiān)管機制的重要性。他認為，大模型技術帶來創(chuàng)新性和靈活性的同時，也可能伴隨著內(nèi)容生成上的不可預測性和潛在問題，需要外部監(jiān)管加以規(guī)范。

國家互聯(lián)網(wǎng)信息辦公室發(fā)布了《移動互聯(lián)網(wǎng)未成年人模式建設指南》，提出了未成年人模式建設的整體方案。受訪專家認為，在青少年模式下，強化內(nèi)容審核機制是關鍵。平臺需要對AI模型進行倫理審查，確保其生成的內(nèi)容符合相關法律與法規(guī)的要求。

專家建議，優(yōu)化大語言模型的篩選機制，聚焦開發(fā)內(nèi)容圍欄系統(tǒng)，從定向開發(fā)和事后審查兩方面入手，提升圍欄系統(tǒng)的效能。只有通過技術和管理手段的雙重保障，才能確保未成年人在使用AI劇情聊天軟件時的安全。