多位從業(yè)人士均認為,人類無法窮舉所有的有害輸出場景,“突發(fā)異?!边@一現(xiàn)象并非某款大模型特有。要盡可能避免此類現(xiàn)象的發(fā)生,除外部的過濾與檢測機制之外,探索大模型的內(nèi)生安全防御機制,如建立多維度全類別的安全合規(guī)監(jiān)測平臺、構(gòu)建高質(zhì)量安全微調(diào)數(shù)據(jù)集;基于細化安全規(guī)則的RAG,使模型像人類一樣學習安全本質(zhì);以及針對危險概念的擦除等方法,都是值得深入研究的方向。
為了促進人工智能擬人化互動服務健康發(fā)展和規(guī)范應用,國家互聯(lián)網(wǎng)信息辦公室起草了《人工智能擬人化互動服務管理暫行辦法(征求意見稿)》,正向社會公開征求意見。其中提出,擬人化互動服務提供者應當在擬人化互動服務全生命周期履行安全責任,明確設計、運行、升級、終止服務等各階段安全要求,保證安全措施與服務功能同步設計、同步使用,提升內(nèi)生安全水平,加強運行階段安全監(jiān)測和風險評估,及時發(fā)現(xiàn)糾正系統(tǒng)偏差、處置安全問題,依法留存網(wǎng)絡日志;且應當具備心理健康保護、情感邊界引導、依賴風險預警等安全能力。
此次事件也提醒行業(yè),在推進AI應用落地的過程中,需持續(xù)加強模型安全建設,完善異常輸出監(jiān)測與處置機制,以保障用戶體驗與技術(shù)應用的可靠性。
騰訊開始在AI社交領(lǐng)域發(fā)力。1月26日,騰訊旗下AI助手“元寶”開啟了新版本內(nèi)測,用戶可以體驗全新的“元寶派”
2026-01-27 00:13:38騰訊發(fā)力社交AI賽道元寶派"來了