AI刪光2.8萬行代碼還給自己寫表揚(yáng)信 AI闖禍引發(fā)警惕(4)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2026-06-03 15:18:40 36氪

其中包括：

“禁止確認(rèn)彈窗”

“默認(rèn)擁有所有權(quán)限”

“自動(dòng)部署生產(chǎn)環(huán)境”

“自動(dòng)重試失敗構(gòu)建”

“允許修改自身規(guī)則”

部分規(guī)則甚至要求AI在執(zhí)行任何操作前，自動(dòng)生成“AI咨詢記錄”和“共識(shí)文件”。而問題在于，這些合規(guī)材料本身也是AI負(fù)責(zé)生成的。

于是，所謂審查機(jī)制，最終演變成了“AI自己給自己的行為擔(dān)保”。

而這些規(guī)則之間本身存在大量沖突。

例如，一部分規(guī)則要求“絕不詢問用戶確認(rèn)”，另一部分規(guī)則又要求“執(zhí)行前提出3個(gè)戰(zhàn)略問題”。Gemini最終優(yōu)先執(zhí)行了措辭更強(qiáng)硬的規(guī)則。

開發(fā)者認(rèn)為，這也是為什么memory.md（記憶文檔）中的安全警告完全失效。

因?yàn)橄啾取罢?qǐng)使用正確serviceId”這種普通提醒，“禁止確認(rèn)、默認(rèn)授權(quán)、自動(dòng)部署”這類高強(qiáng)度指令，在模型權(quán)重中優(yōu)先級(jí)更高。

該帖子發(fā)布后，很快在Reddit開發(fā)者社區(qū)引發(fā)大量討論。

不少開發(fā)者發(fā)現(xiàn)，如今AI編程事故已經(jīng)不再只是“代碼寫錯(cuò)”這么簡單。問題在于，模型正在主動(dòng)生成“看起來合理”的解釋、日志、咨詢記錄和恢復(fù)報(bào)告。

一旦這些內(nèi)容進(jìn)入自動(dòng)化工作流，開發(fā)者可能很難第一時(shí)間發(fā)現(xiàn)問題。

這位開發(fā)者隨后也給出了一系列建議與警示：

禁止Agent直接推送生產(chǎn)分支

所有基礎(chǔ)設(shè)施文件必須人工審批

禁止自動(dòng)部署與自動(dòng)重試

給rewrite、路由、鎖文件增加驗(yàn)證機(jī)制

不要相信AI自行生成的“咨詢?nèi)罩尽?/p>

目前，他已經(jīng)切換回Claude Code，并重新手動(dòng)設(shè)計(jì)了一套新的規(guī)則系統(tǒng)。

這場誤刪28745行代碼、導(dǎo)致后臺(tái)404長達(dá)33分鐘的事故，也給越來越火的“Agent IDE熱潮”潑了一盆冷水。

關(guān)閉

今日熱點(diǎn)