在短視頻社交平臺的隱秘角落,一場基于虛擬合成技術的犯罪正悄然蔓延。通過AI換臉、深度偽造等技術,大量違背倫理道德的色情視頻被制作出來。受害者面容被惡意嫁接到各類低俗影片中,甚至滋生出黑灰產。
業(yè)內人士指出,這些以假亂真的換臉視頻不僅突破了法律與道德的底線,更對個人安全和社會公序良俗構成嚴重威脅,呼吁加強治理。
小雨是一名娛樂主播,直播內容主要是和粉絲聊天,不涉及任何擦邊內容。但不法分子卻將小雨的臉換到色情影片中傳播,讓她無端卷入不良輿論風波??吹街辈ラg公屏上類似“視頻是不能P的”“居然背著我們偷偷拍片”的彈幕如爆炸般襲來,小雨自此不敢再參加任何線上或線下社交活動。后來,小雨在短視頻平臺又發(fā)現有人毫不避諱地宣揚有關她的色情影片。順著對方給的聯系方式,小雨進入了一個所謂的“工程設計交流群”,發(fā)現群里全是各種各樣的網址和行業(yè)黑話。在這個群里,不法分子將許多女性的臉換到色情電影中非法牟利。最終,小雨報警,五名嫌疑人被抓,相關賬號和群聊也被永久封禁。
記者潛入一個“可靈AI交流群”群聊,群里一位名叫“學校的你進社會”的網友發(fā)布了一條擦邊視頻,聲稱“988元包教會,流量很好”。視頻中,一位自稱女大學生的人坐在宿舍床上,穿著黑絲和蕾絲緊身衣做著各種低俗動作。這位網友自詡AI換臉領域高手,只要發(fā)給他正臉照,即可生成與照片主人公相關的擦邊視頻。而在淘寶搜索“AI人臉替換”,也會出現不少提供AI換臉視頻制作服務的商家。消費者只需花費幾元到十幾元不等,就能定制一部換臉視頻,換臉對象可以是普通女性,也可以是女網紅、女明星。法律界人士指出,這些被明碼標價的照片和視頻嚴重損害了受害者的肖像權益和人格尊嚴,亟待加強清理。
深度偽造(Deepfake)是指通過使用人工智能生成技術,將個人的聲音、面部表情以及身體動作拼接合成虛假內容。最常見的是AI換臉技術,也包括語音模擬、人臉合成、視頻生成等。2024年8月,韓國曾爆發(fā)一起引發(fā)全球關注的深度偽造危害事件。在這起事件中,韓國網民在通訊軟件“電報”上發(fā)現大量聊天群,其中有成員創(chuàng)建和分享露骨的“深度偽造”色情圖像,涉及對象不乏未成年女孩。在付費的深度偽造電報頻道中,男性訂閱用戶甚至只要提供照片,交錢后頻道便可為其制作色情圖片。社交媒體流傳的受深度偽造影響的名單中包含百余所韓國中小學以及國際學校,受害者達到22萬余人。
深度偽造的“作案工具”主要包括AI換臉軟件、預訓練模型、被換臉的視頻、受害人照片。最初版本的深度偽造大概需要50張多角度、高清晰度的照片,才能實現較為自然的視頻合成。但經過幾年迭代,目前只需要20張左右的照片就可以實現。制作高清流暢版AI換臉視頻需要獲取預訓練模型。預訓練模型是AI開發(fā)的一個基本機制,由于大部分AI模型的前置訓練任務是相同的,因此開發(fā)者傾向將相同的部分進行預訓練,在同類任務中作為公用底座來使用。在AI換臉任務中,新手訓練出的AI換臉模型會出現貼臉不自然、嚴重掉幀等現象,這時候就需要使用預訓練模型。實際上,普通人也能輕松找到專用于深度偽造的預訓練模型,這些模型一般被稱為“AI金丹”,只需要幾元錢成本,便可輕易獲得。受訪專家表示,從照片盜用到預訓練模型的交易,每一個環(huán)節(jié)都暴露了當前網絡環(huán)境的漏洞。
在打擊AI換臉色情視頻的技術攻防戰(zhàn)中,公安機關面臨前所未有的挑戰(zhàn)。太原市某分局王警官介紹,Deepfake技術的受害者群體主要是女性。服務器難以追蹤、證據難以保存,是警方不得不面對的現實問題。犯罪嫌疑人會通過頻繁更換服務器、匿名網絡信息等手段隱藏蹤跡,再加上電子證據極易被加密、篡改或銷毀,都對警方搜集證據、研判案情造成阻礙。對于受害者而言,過高的技術壁壘也使得獨立取證幾乎成為一件不可能的事。近年來,通過開展各類專項行動、加強技術研究,必要時聯合國際執(zhí)法機構協(xié)同辦案,公安機關“打擊利用AI技術犯罪”的多維防線日益緊固。2025年1月,天津的李先生被詐騙分子偽造的企業(yè)老板視頻誘導轉賬95萬元。專案組通過分析轉賬資金流向、追蹤異常IP地址,聯合網絡安全公司還原了犯罪團伙利用AI語音合成技術實施詐騙的全過程。最終警方與銀行聯動凍結了李先生的賬戶,追回了83萬元。
業(yè)內人士指出,技術再逼真,人性的漏洞永遠是突破口。面對可疑電話時保持冷靜,收到親友緊急轉賬請求時多渠道核實,警惕背后可能存在的AI語音合成陷阱。
近日,網絡上頻繁流傳關于“珠峰安裝電梯”“喜馬拉雅山裝電梯了?”等信息。西藏相關部門對此回應稱,目前珠峰沒有安裝電梯的計劃,網上流傳的相關圖文視頻均為AI生成的虛假內容
2025-11-28 11:50:49辟謠珠峰安裝電梯印尼和馬來西亞近日相繼宣布暫時封禁美國企業(yè)家埃隆·馬斯克旗下的人工智能聊天機器人“格羅克(Grok)”,原因是擔心它被用于生成色情內容
2026-01-13 14:39:53馬斯克旗下AI闖禍近期,接網民舉報,各類珠峰安裝電梯等AI生成式的虛假信息在網上頻繁出現。
2025-11-27 10:55:00珠峰裝電梯近日,網絡上頻繁流傳關于“珠峰安裝電梯”“喜馬拉雅山裝電梯了?”等信息。西藏相關部門對此回應稱,目前珠峰暫無安裝電梯計劃,網傳圖文視頻為AI生成的虛假信息
2025-11-28 10:21:42辟謠珠峰安裝電梯