梳理公開信息發(fā)現(xiàn),一些不法分子利用“數(shù)字人”形象進行違法活動。張文宏、雷軍等公眾人物的形象曾被用來生成AI數(shù)字人,用于帶貨或惡搞。有些直播間內(nèi)的AI數(shù)字人向中老年人虛假宣傳保健品,誘導購買。更有甚者,一些不法分子利用AI數(shù)字人進行敲詐、詐騙等犯罪行為。例如,山西忻州公安機關發(fā)現(xiàn)犯罪嫌疑人王某某利用AI技術制作合成“數(shù)字人”新聞視頻引流,進而進行有償發(fā)帖、有償刪帖等敲詐勒索活動。2024年,江西一名65歲老人聲稱要貸款200萬元給男朋友“靳東”拍戲,后經(jīng)調(diào)查,老人手機里的“靳東”視頻是AI合成的。
重慶大學網(wǎng)絡與大數(shù)據(jù)研究院副院長羅勇認為,AI產(chǎn)業(yè)發(fā)展不能凌駕于網(wǎng)絡安全之上。對于利用AI技術生成的短視頻,網(wǎng)絡用戶特別是未成年人和老年人由于缺乏必要的鑒別能力,往往會信以為真,這可能產(chǎn)生負面網(wǎng)絡輿情,甚至對網(wǎng)絡安全造成負面影響。
當前我國已經(jīng)出臺了《生成式人工智能服務管理暫行辦法》《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》等法規(guī),對AI數(shù)字人和AI生成內(nèi)容的標識、數(shù)據(jù)來源等提出了具體要求。今年3月,國家網(wǎng)信辦等四部門聯(lián)合發(fā)布《人工智能生成合成內(nèi)容標識辦法》,通過標識提醒用戶辨別虛假信息,規(guī)范內(nèi)容制作、傳播各環(huán)節(jié)標識行為,為規(guī)范AI生成內(nèi)容劃定紅線。該辦法將于9月1日起施行。
中國政法大學教授鄭飛指出,相關規(guī)定在落地過程中存在困難。一方面,監(jiān)管和技術手段有限,難以徹底發(fā)現(xiàn)并糾正違規(guī)行為。例如,一些“AI起號”從業(yè)者通過預置“鏡像參數(shù)”生成極為逼真的虛擬人像,從而逃避平臺的強制標注要求。而監(jiān)管部門特別是基層執(zhí)法部門通常面臨職責不清、執(zhí)法手段和執(zhí)法力量不足的問題。另一方面,部分平臺在一定程度上“管不了”也“不想管”。平臺管理能力與技術手段欠缺,尤其是一些小型平臺,缺乏足夠的審核人力和技術支持?!安幌牍堋眲t是因為背后的利益驅(qū)動。未明顯標識AI數(shù)字人或合成內(nèi)容會讓受眾誤以為是真人或真實事件,從而更容易引起人們的興趣和好奇心,吸引更多的流量和關注,帶來更多的商業(yè)利益。
近日,劉先生的母親黃女士被中國人壽洛陽市分公司的業(yè)務員以免費領取雞蛋和禮品為由,“誘導”辦理了近10萬元的貸款,并購買了價值逾14萬元的高額保險
2025-03-14 17:52:13老人被中國人壽誘導貸款買14萬保險