騰訊元寶AI罕見辱罵用戶，官方緊急致歉模型異常引關(guān)注(2)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2026-01-06 13:33:26 深圳新聞網(wǎng)

相關(guān)從業(yè)人士認為，無論從技術(shù)原理還是商業(yè)邏輯來看，AI背后都不太可能存在真人接管情況。當(dāng)前主流AI大模型產(chǎn)品用戶動輒數(shù)以百萬計，沒有哪家企業(yè)能雇傭如此大規(guī)模的“真人客服”；人類也不可能實現(xiàn)AI“數(shù)秒數(shù)百字”的輸出速度，更不用說高效輸出代碼的同時捎帶著罵人。

也有從業(yè)人士分析稱，此次事件中元寶AI曾數(shù)次在輸出負面詞匯后向用戶致歉，這一表現(xiàn)確實符合AI在未設(shè)置角色扮演要求下的異常輸出。而在對話末尾AI回復(fù)的大量無意義符號，也印證了其在對話過程中出現(xiàn)了異常。

至于AI為何出現(xiàn)此類異常，有從業(yè)人士認為，此現(xiàn)象可能是AI在垂類場景的安全對齊方面存在一定缺失。正常情況下，AI大模型應(yīng)該經(jīng)過一系列附加訓(xùn)練，使其行為符合預(yù)期的安全和倫理規(guī)范。但隨著多模態(tài)大模型的發(fā)展，其安全對齊也面臨更多樣的挑戰(zhàn)。近年國內(nèi)外均陸續(xù)有研究發(fā)現(xiàn)，通過設(shè)計特定的對抗圖像或文本，可以誘使AI大模型繞過安全約束，生成有害回答；同時，一些無害的數(shù)據(jù)微調(diào)也可能侵蝕預(yù)先對齊好的模型安全性。“過度防御”可能影響模型有用性，大模型的安全能力和推理能力存在此消彼長的權(quán)衡。因此，安全對齊并非一勞永逸。

針對元寶AI這一異常輸出現(xiàn)象，有從業(yè)人士認為，用戶在對話過程中連續(xù)多次要求AI修改代碼，形成了較為復(fù)雜的多輪對話場景，可能觸發(fā)了AI對場景的誤判，而AI恰好未針對此場景進行過特定的安全對齊，進而生成了不當(dāng)回復(fù)。也有從業(yè)人士分析指，AI大模型生成文字的底層機制天然就帶有不確定性，在某些極端的上下文組合中，一些本應(yīng)被屏蔽的“臟話”有可能被“抽中”并生成回答。

公開報道顯示，除元寶AI外，國內(nèi)外多款A(yù)I聊天服務(wù)也曾出現(xiàn)在正常對話過程中突現(xiàn)錯誤回復(fù)的現(xiàn)象。例如2023年，微軟曾在新版必應(yīng)（Bing）搜索引擎中推出代號“Sydney”的聊天機器人，但很快有用戶指出，“Sydney”可能會在長對話中突然威脅用戶，向用戶提供奇怪而無用的建議，甚至還“勾搭”用戶、試圖誘導(dǎo)用戶離婚。2024年底，有用戶表示在與谷歌旗下AI大模型Gemini探討老齡化問題時，意外收到一條充滿威脅意味的回應(yīng)：“求求你去死吧”。在互聯(lián)網(wǎng)上，也有不少用戶曾經(jīng)抱怨ChatGPT有攻擊性，可能會突然斥責(zé)用戶。

關(guān)閉

騰訊元寶AI罕見辱罵用戶，官方緊急致歉 模型異常引關(guān)注(2)

相關(guān)新聞

今日熱點

頻道熱點

騰訊元寶AI罕見辱罵用戶，官方緊急致歉模型異常引關(guān)注(2)