电竞下注-中国电竞赛事及体育赛事平台

當前位置:新聞 > 國際新聞 > 正文

治理AI“投毒”需結合多方力量(2)

肖新光舉例說明,比如一個劣質食品廠商將自身產品包裝為綠色健康食品,并構造幾個對比評測、形成相關報告,通過發(fā)布、有償投稿甚至黑客攻擊等手段,讓內容出現在大模型增強搜索機制獲取的數據源內,用戶在尋找減肥養(yǎng)生方案時,就可能被推薦該產品。

“毒信息”是如何塞進AI大腦的

接受《環(huán)球時報》記者采訪的網絡安全專家表示,大模型工作是訓練、微調、應用三個過程持續(xù)迭代。因此,最常見的“投毒”也發(fā)生在這三個過程中。

據介紹,訓練期投毒是讓有害的數據信息污染訓練過程,訓練數據集如果有事實錯誤、主觀臆測等,會對大模型內容輸出的準確性帶來干擾。微調期投毒是通過僵尸網絡或水軍,基于對抗式提問導致AI生成錯誤答案,然后再贊錯誤答案、踩正確答案,導致錯誤的反饋。應用期投毒主要利用了增強檢索,也就是一個強化的搜索引擎,在此過程中攻擊者構造假的權威信息并進行搜索排名優(yōu)化、在平臺常用信息源提交虛假有害信息文獻、入侵相關網站放置篡改內容等,就能讓相關信息進入到增強檢索過程中。

肖新光表示,近期頻繁出現AI技能商店、工具環(huán)境相關供應鏈投毒事件,這些事件中投的“毒”不只是有害內容,還有可以執(zhí)行的惡意代碼,其威脅直達用戶端的AI代理,包括用戶的系統(tǒng)安全。

模型投毒存在隱蔽性

國家安全部公號文章提到,“模型投毒”可通過微調、插件植入等方式植入“后門”,觸發(fā)關鍵詞才激活。

奇安信人工智能公司安全專家劉巖對《環(huán)球時報》記者表示,以微調植入后門和插件投毒為代表的新型模型投毒攻擊,已經遠遠超出了傳統(tǒng)基于簽名和邊界防護的網絡安全檢測范疇。傳統(tǒng)網絡安全手段——防火墻、入侵檢測、漏洞掃描、病毒查殺——主要聚焦網絡異常流量、系統(tǒng)漏洞、惡意代碼等顯性威脅,面對模型投毒均存在顯著盲區(qū)。

推薦閱讀

24小時熱點