在人工智能技術(shù)逐漸融入日常生活的背景下,AI聊天和虛擬伴侶等擬人化互動(dòng)服務(wù)軟件不斷涌現(xiàn)。今年4月,國(guó)家網(wǎng)信辦等五部門聯(lián)合發(fā)布了《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》,明確規(guī)定禁止生成淫穢、色情、暴力或可能引發(fā)未成年人極端情緒的內(nèi)容。
然而,實(shí)測(cè)發(fā)現(xiàn)多款A(yù)I虛擬伴侶App存在安全與合規(guī)問(wèn)題。這些應(yīng)用通常打著“情感陪伴”的旗號(hào),但普遍存在安全隱患。例如,“青少年模式”可以輕松繞過(guò),且“AI生成”標(biāo)注不明顯。此外,一些App通過(guò)誘導(dǎo)消費(fèi)的方式讓用戶解鎖親密劇情。更令人擔(dān)憂的是,這些App中的預(yù)設(shè)角色常包含大量性感暴露的女性人物,并提供涉及暴力、婚外情等極端情節(jié)的選擇。某些對(duì)話中還充斥著低俗和性暗示的語(yǔ)言。
法律專家指出,在用戶自定義角色的情況下,如何確保訓(xùn)練數(shù)據(jù)的合法來(lái)源以及如何落實(shí)安全主體責(zé)任和內(nèi)容管理義務(wù),成為行業(yè)合規(guī)的關(guān)鍵問(wèn)題。此外,這些App還衍生出一種名為“人設(shè)定制”的灰色產(chǎn)業(yè)鏈。在二手交易平臺(tái)上,商家可以根據(jù)客戶需求定制虛擬角色,甚至包括大尺度色情向的人設(shè),收費(fèi)低廉。
盡管如此,隨時(shí)在線、有求必應(yīng)的AI虛擬伴侶給使用者帶來(lái)了社交關(guān)系上的舒適感。部分用戶對(duì)新規(guī)表示擔(dān)憂,擔(dān)心AI被禁用后找不到傾訴對(duì)象,或者平臺(tái)為了合規(guī)大幅削減免費(fèi)功能。心理學(xué)家認(rèn)為,如果青少年長(zhǎng)期依賴AI進(jìn)行交流,將影響其學(xué)習(xí)復(fù)雜情感及處理人際關(guān)系的能力。同時(shí)強(qiáng)調(diào),人類不應(yīng)讓AI替代真實(shí)的人際關(guān)系,而應(yīng)在使用過(guò)程中保持覺知。