演員溫崢嶸在瀏覽短視頻時(shí),意外發(fā)現(xiàn)“自己”正在直播。她在評(píng)論區(qū)提出質(zhì)疑后,被拉黑并踢出直播間,而對(duì)方仍在用她的臉進(jìn)行直播帶貨。近期,溫崢嶸遭遇的“冒牌直播”事件是AI換臉技術(shù)濫用的一個(gè)典型例子。多個(gè)直播間出現(xiàn)冒用溫崢嶸形象的AI換臉帶貨行為,其團(tuán)隊(duì)每天舉報(bào)約50個(gè)假冒賬號(hào)并發(fā)出律師函,但造假賬號(hào)仍屢禁不止,令她陷入“很難證明我是我”的困境。
這一現(xiàn)象并非孤例。調(diào)查發(fā)現(xiàn),AI換臉與聲音克隆技術(shù)已形成一條涵蓋教程傳播與定制服務(wù)的灰色產(chǎn)業(yè)鏈,對(duì)個(gè)人權(quán)益、平臺(tái)監(jiān)管等構(gòu)成嚴(yán)重威脅。例如,主持人李梓萌的AI偽造形象出現(xiàn)在直播間,虛假宣傳深海魚(yú)油“能治病”;奧運(yùn)冠軍全紅嬋的聲音被AI克隆,用于售賣土雞蛋;醫(yī)生張文宏被換臉,其形象被用于在直播間售賣某款蛋白棒產(chǎn)品,銷量已過(guò)千。
中央網(wǎng)信辦官方賬號(hào)發(fā)文表示,有網(wǎng)絡(luò)賬號(hào)利用AI技術(shù)仿冒公眾人物形象,在直播、短視頻等環(huán)節(jié)發(fā)布營(yíng)銷信息,誤導(dǎo)網(wǎng)民,涉嫌虛假宣傳和網(wǎng)絡(luò)侵權(quán),嚴(yán)重破壞網(wǎng)絡(luò)生態(tài),造成不良影響。網(wǎng)信部門嚴(yán)厲處置一批違法違規(guī)網(wǎng)絡(luò)賬號(hào),并督促網(wǎng)站平臺(tái)發(fā)布治理公告,開(kāi)展集中清理整治,目前已累計(jì)清理相關(guān)違規(guī)信息8700余條,處置仿冒公眾人物賬號(hào)1.1萬(wàn)余個(gè)。
AI換臉技術(shù)的濫用甚至延伸至刑事犯罪領(lǐng)域。2024年10月,江蘇省南京市玄武區(qū)人民法院審理的一起案件中,被告人符某非法獲取195萬(wàn)條公民個(gè)人信息,利用AI換臉軟件生成動(dòng)態(tài)人臉視頻,成功突破某金融支付平臺(tái)的人臉識(shí)別認(rèn)證系統(tǒng),盜刷銀行卡進(jìn)行消費(fèi)。法院以侵犯公民個(gè)人信息罪、信用卡詐騙罪數(shù)罪并罰,判處符某有期徒刑4年6個(gè)月。同年,內(nèi)蒙古鄂爾多斯一名消費(fèi)者險(xiǎn)些因AI換臉詐騙損失40余萬(wàn)元,幸虧警方及時(shí)介入,未造成實(shí)際損失。