換臉擬聲合成視頻的現(xiàn)象引發(fā)了廣泛關(guān)注。全國(guó)人大代表雷軍提到，網(wǎng)上出現(xiàn)了大量使用他的聲音和人臉制作的內(nèi)容，起初他覺(jué)得這是網(wǎng)民的娛樂(lè)行為，但當(dāng)內(nèi)容變得低劣且數(shù)量龐大時(shí)，情況變得難以控制。

除了雷軍，AI技術(shù)也被用來(lái)偽造其他名人的形象進(jìn)行虛假宣傳，例如劉德華、張文宏醫(yī)生和工程院院士張伯禮甚至被用于帶貨直播。中國(guó)政法大學(xué)副教授朱巍指出，根據(jù)民法典的規(guī)定，未經(jīng)允許使用他人的人臉信息和聲音信息進(jìn)行深度合成是違法的，這些都屬于個(gè)人的人格權(quán)利。

針對(duì)濫用AI技術(shù)偽造名人形象開(kāi)展帶貨營(yíng)銷的問(wèn)題，網(wǎng)信部門持續(xù)督促各網(wǎng)站平臺(tái)進(jìn)行巡查處置。近一個(gè)月內(nèi)，重點(diǎn)網(wǎng)站平臺(tái)累計(jì)處置了797個(gè)違法違規(guī)賬號(hào)和店鋪。

AI換臉和語(yǔ)音合成技術(shù)還被用于詐騙。內(nèi)蒙古警方破獲的一起案件中，福建某科技公司老板郭先生在視頻通話中看到“好友”的面容，在10分鐘內(nèi)被騙轉(zhuǎn)賬430萬(wàn)元，事后發(fā)現(xiàn)對(duì)方竟是AI換臉與擬聲技術(shù)合成的“數(shù)字替身”。在上海，劉先生因網(wǎng)絡(luò)交友被騙取20萬(wàn)元，調(diào)查發(fā)現(xiàn)該團(tuán)伙使用AI生成虛假照片實(shí)施婚戀詐騙，涉案金額超過(guò)200萬(wàn)元。

記者體驗(yàn)了一次AI“深度偽造”，技術(shù)人員通過(guò)記者的證件照片和錄制的聲音樣本，不到兩分鐘就生成了一段記者的換臉和聲音合成視頻。購(gòu)物平臺(tái)上也有商家提供類似服務(wù)，價(jià)格從20元到50元不等。記者嘗試后發(fā)現(xiàn)，只需提供一分鐘的語(yǔ)音素材，就能定制出任何想要的聲音。

針對(duì)AI深度合成作品，法律法規(guī)有明確規(guī)定。2023年施行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》要求，不得利用深度合成服務(wù)制作、復(fù)制、發(fā)布、傳播法律禁止的信息。即將于9月1日實(shí)施的《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》也提出，對(duì)AI生成合成內(nèi)容要進(jìn)行標(biāo)識(shí)，防止誤導(dǎo)性信息傳播。

中國(guó)政法大學(xué)副教授朱巍表示，未經(jīng)授權(quán)使用他人肖像和聲音并對(duì)外發(fā)布是一種侵權(quán)行為，可能需要承擔(dān)損害賠償?shù)确韶?zé)任。如果編輯后的視頻內(nèi)容違反網(wǎng)絡(luò)安全法，當(dāng)事人還可能面臨刑事責(zé)任。中國(guó)計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)安全專業(yè)委員會(huì)委員呂延輝建議，應(yīng)從法律、平臺(tái)和公眾多個(gè)層面綜合施策，進(jìn)一步完善相關(guān)立法，細(xì)化AI克隆技術(shù)的法律條款，明確侵權(quán)行為的定義和責(zé)任，同時(shí)加強(qiáng)執(zhí)法力度。