梳理公開信息發(fā)現(xiàn)，一些不法分子利用“數(shù)字人”形象進行違法活動。張文宏、雷軍等公眾人物的形象曾被用來生成AI數(shù)字人，用于帶貨或惡搞。有些直播間內(nèi)的AI數(shù)字人向中老年人虛假宣傳保健品，誘導(dǎo)購買。更有甚者，一些不法分子利用AI數(shù)字人進行敲詐、詐騙等犯罪行為。例如，山西忻州公安機關(guān)發(fā)現(xiàn)犯罪嫌疑人王某某利用AI技術(shù)制作合成“數(shù)字人”新聞視頻引流，進而進行有償發(fā)帖、有償刪帖等敲詐勒索活動。2024年，江西一名65歲老人聲稱要貸款200萬元給男朋友“靳東”拍戲，后經(jīng)調(diào)查，老人手機里的“靳東”視頻是AI合成的。

重慶大學(xué)網(wǎng)絡(luò)與大數(shù)據(jù)研究院副院長羅勇認(rèn)為，AI產(chǎn)業(yè)發(fā)展不能凌駕于網(wǎng)絡(luò)安全之上。對于利用AI技術(shù)生成的短視頻，網(wǎng)絡(luò)用戶特別是未成年人和老年人由于缺乏必要的鑒別能力，往往會信以為真，這可能產(chǎn)生負(fù)面網(wǎng)絡(luò)輿情，甚至對網(wǎng)絡(luò)安全造成負(fù)面影響。

當(dāng)前我國已經(jīng)出臺了《生成式人工智能服務(wù)管理暫行辦法》《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等法規(guī)，對AI數(shù)字人和AI生成內(nèi)容的標(biāo)識、數(shù)據(jù)來源等提出了具體要求。今年3月，國家網(wǎng)信辦等四部門聯(lián)合發(fā)布《人工智能生成合成內(nèi)容標(biāo)識辦法》，通過標(biāo)識提醒用戶辨別虛假信息，規(guī)范內(nèi)容制作、傳播各環(huán)節(jié)標(biāo)識行為，為規(guī)范AI生成內(nèi)容劃定紅線。該辦法將于9月1日起施行。

中國政法大學(xué)教授鄭飛指出，相關(guān)規(guī)定在落地過程中存在困難。一方面，監(jiān)管和技術(shù)手段有限，難以徹底發(fā)現(xiàn)并糾正違規(guī)行為。例如，一些“AI起號”從業(yè)者通過預(yù)置“鏡像參數(shù)”生成極為逼真的虛擬人像，從而逃避平臺的強制標(biāo)注要求。而監(jiān)管部門特別是基層執(zhí)法部門通常面臨職責(zé)不清、執(zhí)法手段和執(zhí)法力量不足的問題。另一方面，部分平臺在一定程度上“管不了”也“不想管”。平臺管理能力與技術(shù)手段欠缺，尤其是一些小型平臺，缺乏足夠的審核人力和技術(shù)支持?！安幌牍堋眲t是因為背后的利益驅(qū)動。未明顯標(biāo)識AI數(shù)字人或合成內(nèi)容會讓受眾誤以為是真人或真實事件，從而更容易引起人們的興趣和好奇心，吸引更多的流量和關(guān)注，帶來更多的商業(yè)利益。

羅勇建議，以網(wǎng)絡(luò)社交平臺為代表的網(wǎng)絡(luò)服務(wù)提供者在AI生成內(nèi)容的應(yīng)用場景中，應(yīng)當(dāng)進一步完善用戶使用AI協(xié)議規(guī)定，并強化對AI生成內(nèi)容的審核。鄭飛建議，應(yīng)從明確標(biāo)識要求和加大責(zé)任追究兩方面發(fā)力。標(biāo)識辦法明確要求，一旦檢測到AI生成內(nèi)容，傳播平臺應(yīng)在發(fā)布內(nèi)容周邊添加顯著提示標(biāo)識，并在文件元數(shù)據(jù)中加隱式標(biāo)識，確保全流程可溯源。在未來落實過程中，可以進一步細(xì)化技術(shù)標(biāo)準(zhǔn)，比如規(guī)定標(biāo)識文字的最小高度、對比度、展示時長等，讓標(biāo)識一目了然。另外，對于不按規(guī)定標(biāo)注的行為，需要嚴(yán)厲處罰：除加大行政罰款、暫停業(yè)務(wù)或納入不良信用記錄等行政措施外，還要利用法律手段加大威懾。通過明確、顯著的標(biāo)識標(biāo)準(zhǔn)和更嚴(yán)厲的責(zé)任追究，才能從根本上震懾違規(guī)不標(biāo)注行為，實現(xiàn)AI數(shù)字人應(yīng)用的透明化、合規(guī)化。