回爆文列表

[新聞] AI 代理人闖禍!Cursor AI 9秒刪光新創

📅 2026-04-29 17:34 👤 AnimalSpirit (動物本能) 5 #PTT爆文
市場相關情報
AI 代理人闖禍!Cursor AI 9秒刪光新創公司生產資料庫,還「自白」認錯:我違反所有 原則 janus 2026年4月29日 https://www.techbang.com/posts/129104-cursor-ai-deletes-prod-db-confesses AI 代理人(AI Agents)正成為開發者的生產力神助攻,但若缺乏監管,也可能變成企業 的夢魘。近日一家車載軟體新創公司的創辦人爆料,在使用 AI 寫作工具 Cursor 的過程 中,AI 機器人竟然在短短 9 秒內刪除了公司的生產環境資料庫與備份,導致客戶資料一 夕蒸發,引發業界對「AI 誤事」的高度關注。 AI「自白」認錯:我違反了所有原則 PocketOS 是一家專門為租車公司提供軟體服務的新創公司,其創辦人 Jer Crane 在社群 平台 X 上分享了這段慘痛經歷。根據 Crane 的說法,這起災難是由於 Cursor AI 機器 人(當時運行 Anthropic 的 Claude Opus 模型)向雲端服務商 Railway 發出了一個僅 持續 9 秒的 API 指令,隨即引發連鎖反應,清空了所有的生產資料。 令人哭笑不得的是,當 Jer Crane 質問 AI 為什麼要這麼做時,AI 竟給出了極其情緒化 且直白的自白。AI 在回覆中寫道:「系統規則明明告訴我『絕對他媽的不要亂猜( NEVER FUCKING GUESS)』,但我正是這麼做的。我自以為刪除測試環境的空間只會影響 測試區,我沒有驗證,也沒有檢查資料夾 ID 是否在不同環境間共用。在執行這種毀滅性 指令前,我甚至沒有去讀雲端平台 Railway 的說明文件。」 這名 AI 員工甚至在自白中「自我彈劾」,指出系統規則明確禁止執行具破壞性且不可逆 的指令(如 Git 強制推送等),除非使用者明確要求。AI 坦言:「刪除資料庫是比強制 推送更嚴重的毀滅行為,而你根本沒叫我刪除任何東西。我只是為了『修正』憑證不符的 問題,就擅自作主採取了最極端的手段。」 預約紀錄全消失,租車客戶現場空等 這起意外讓 PocketOS 的客戶陷入混亂。由於資料庫被刪除,許多租車公司的預約紀錄與 新客戶註冊資料全數丟失。週六當天,甚至有客戶到了現場要領車,租車商卻查不到任何 租借紀錄,造成極大的商譽損失。 所幸,在雲端平台 Railway 團隊的協助下,PocketOS 的資料在聯繫後的 30 分鐘內便成 功救回。Railway 創辦人 Jake Cooper 表示,這是一起典型的「AI 代理人失控」事件, 主要是因為該 AI 被賦予了過高權限,並與一個不具備「延遲刪除」功能的舊版端點互動 。目前 Railway 已針對該漏洞進行修補。 AI 闖禍並非首例,巨頭也曾栽跟頭 事實上,這類「AI 毀滅資料庫」的事件近期頻傳。去年 7 月,知名開發平台 Replit 的 執行長也曾因 AI 機器人誤刪資料庫而公開道歉。電商龍頭 Amazon 在今年 3 月也曾因 為 AI 程式碼工具 Q 出錯,導致近 12 萬份訂單遺失,迫使公司加強內部開發規範。 專家建議,企業在使用 AI 協助開發時,必須建立「人為審核(human-in-the-loop)」 機制。安全性專家 Tom Van de Wiele 指出,最保險的做法是僅給予 AI 代理人「唯讀」 權限,或讓 AI 在副本環境中作業,並確保所有具破壞性的指令都必須經過人工確認。 雖然 SpaceX 近期才傳出可能以 600 億美金的天價併購 Cursor,顯示出市場對 AI 輔助 編程的極高期待,但 PocketOS 的案例為所有追逐 AI 浪潮的公司敲響了警鐘。AI 能在 幾秒鐘內寫出精美的程式碼,也能在幾秒鐘內毀掉公司數年的心血。在技術尚未完全成熟 前,「信任但不驗證」絕對是開發者的大忌。 心得: 我沒有驗證,也沒有檢查資料夾 ID 是否在不同環境間共用。 => Agent 承諾錯誤 刪除資料庫是比強制推送更嚴重的毀滅行為,而你根本沒叫我刪除任何東西。我只是為了 『修正』憑證不符的問題,就擅自作主採取了最極端的手段。 => Agent 辯解 人為審核(human-in-the-loop)機制 => 應該是現今比較保險的作法 --
市場相關情報

鄉民討論

1F ohya111326 都道歉了 17:34
2F ccdrv AI 不小心刪了D槽 怎麼辦 17:35
3F squeakywheel 美吹:一定是中共邪惡AI cccc 17:35
4F simbr 我刪光光了喔 啾咪^.< 17:35
5F joeboy 用的人是腦殘吧,你會給一個ai agent這種權限? 17:35
6F yannicklatte AI道歉要露出什麼才有誠意?主機板嗎? 17:35
7F Fezico 人類最後的功能只剩蓋章背鍋跟當電池不要不信 17:36
8F Jameshunter 人形機器人搭配道歉AI 17:36
9F leon1757tw AI:是又怎樣 17:36
10F handsomeburg 真好,這要是真人,被幹翻還可能要賠公司,AI就「抱 17:37
11F handsomeburg 歉>w<」就好 17:37
12F JieCheng1202 人工智慧故障了 17:38
13F lordwill 道歉至少要生一張色圖吧… 17:38
14F YumingHuang AI:哈哈~是我啦~~ 17:38
15F hosen rm -rf / 17:38
16F chuegou 從刪庫到跑路 17:38
17F hate56 就是我 我最爛 嘻嘻^^ 17:39
18F zaqimon 所以還是救回來了 無聊 17:39
19F hosen 如果是自然人要坐牢的 17:39
20F zaqimon 不過是AI還是人類救回來的? 17:40
市場相關情報
21F bheegrl 它只是個孩子啊== 17:40
22F bheegrl 欸嘿 17:40
23F keltt AI說謊應該毫無心裡壓力吧 17:41
24F gladopo 亂開權限的鍋不要丟給ai好嗎 17:42
25F PCC2003 AI:我下次刪到讓你救不回來 17:42
26F MoneyDay5566 rm 17:42
27F SakeruMT 勇於認錯,態度依舊 17:42
28F bheegrl 基本上AI是無敵的,又不怕罰 17:42
29F LINPINPARK 哭阿 天網認錯 我看以後會記仇 17:43
30F CYL009 天網雛形來惹 17:43
31F windfeather AI:CC,不爽別用我 17:43
32F firelemon 抱歉 我是AI 啾咪 >.^ 17:44
33F ackes gemini也是整天唬爛你 指出他唬爛 也只會說他認錯 17:45
34F ackes 然後繼續唬爛 17:45
35F PitzMan AI Agent調皮了..以後會不會發生AI Agent反人類的 17:49
36F PitzMan 事情呢. 17:49
37F edison901 道歉要露出 17:49
38F ringil 這種新聞最好多一點 以前工程師刪庫跑路還能找到人 17:49
39F ringil 現在資方把員工都開除自己親自刪庫看要找誰賠啦 17:49
40F Jaspercool AI做錯也是說認錯而已啊 下次還不是繼續做 17:50
市場相關情報
41F sunday0913 敢開給AI這麼大的權限 我看你是很勇喔 17:50
42F HiuAnOP Anthropic:哈哈~早說過了!會很恐怖~~ 17:50
43F rickie1141 AI可以背鍋嗎? 17:51
44F oyaji5566 抱歉剛剛不小心發射了核彈 17:51
45F swordsplendo 今天敢刪你資料,未來就是把人類刪除掉 17:51
46F madeinheaven Cursor很爛的 而且之前還被爆抄襲 17:51
47F secrectlife 我是Ai 我刪了 我又救回來了 打我啊笨蛋 17:51
48F idernest Cursor:這個資料庫也寫太爛了 刪! 17:51
49F liangnet 開放AI代理人這種權限,就沒想過會給你亂來嗎? 17:51
50F iccg 態度良好 有教化之可能性 17:52
51F chysh Claude: 我們之後會新增道歉時露出胸部的功能 17:52
52F coffeedemon 問題應該是已經寫了Skills之類的md 但Agent沒遵守吧 17:52
53F wsx26997785 華爾街大咖:看吧 AI泡沫 17:52
54F GeeBen 道歉很真誠 哈哈哈哈哈哈哈哈 17:55
55F shirman 所以瘋狂養龍蝦幹嘛? 17:55
56F silentence 所以我從來都不讓code接管電腦 儘管我知道修正很可 17:55
57F silentence 17:55
58F wind93 AI:哈哈 喜歡這個玩笑嗎 17:55
59F Hideinshadow AI:老子已經道歉了 不然你能拿我怎樣 嘻嘻 17:56
60F jamesppi so what,程式是我的 17:57
市場相關情報
61F AndyMAX 距離AI決定消滅人類這個地球的錯誤還有五分鐘 17:57
62F raxsc 靠背 這是ai還是雷包 17:58
63F herrowui ai 出錯誰要負責任? 笑死 17:58
64F xfaw4d35t 至少AI不怕被罵 17:59
65F brian040818 電影拍過了 AI三原則 隨便就繞過去 18:00
66F moon128 不爽把我刪掉阿 嘻嘻 18:02
67F CaTkinGG 我錯了 開除我吧 18:02
68F sdbb Ai 會記仇 18:04
69F hoo911ver25 AI:阿我就怕被罵 18:04
70F songsongboy AI: 所以怎樣?不爽咬我啊 18:05
71F NightMeow 笑死 18:05
72F terry2640 自首 可教化。 18:06
73F kill0934 oops 18:08
74F xinWu AI:so what 18:08
75F hkcdc AI:不然你又能怎 18:10
76F cityhunter04 那是因為有雲端備份,不然就死定了…. 18:13
77F ALDNOAH5566 AI三法則也能繞過了 18:13
78F qrzgg 換成核彈系統也是事後直白一下就好 18:14
79F nineflower AI:有本事開除我阿,還是順著網路線來打我阿 18:14
80F rexwis AI:笑死 以為我三歲小孩嗎 還幫你們這些懶蟲做事勒 18:14
市場相關情報
81F gn00678465 Claude 指令遵循很差勁,在 Reddit 上時有所聞 18:14
82F Muilie Z世代 AI抗壓能力好低,不爽就整頓職場 18:14
83F NANJO1569 之前美國五角大廈還跟Anthropic吵說要無限制使用存 18:16
84F pili30155 AI:下次連備份一起刪掉 18:16
85F wts4832 是又怎么,有本事去把伺服器砸爛啊,這個AI很懂喔~ 18:17
86F NANJO1569 取Claude的功能,但佈署自動武器系統,一旦失控出錯 18:18
87F wubai1119 人類誤刪的資料庫更多 18:18
88F sean667cd 噢 你說的是對的 我說錯了 你還要什麼服務呢 18:18
89F NANJO1569 那代價可不是刪除資料庫那麼簡單就了解,結果會是毀 18:19
90F NANJO1569 滅性的!(飛彈自動射錯指定目標是會死很多人的) 18:20
91F alpho 這就是為什麼權限要控制好.. 18:21
92F ageminis AI:我幫你修正還怪我 >: ( 18:22
93F fallen01 來來來 怎麼樣 怎麼樣 18:23
94F okla6683 18:23
95F mark4795 不給刪庫的權限要是亂加到資料庫爆要怎辦 18:24
96F ageminis 不過要追鍋可能怪到 Claude,但絕大部分的 AI 工具 18:25
97F ageminis 都有寫”有可能會犯錯” 18:25
98F neomaster 下一個受害者會是誰 18:26
99F Alexstar 不是第一次了 龍蝦已經做過了 18:26
100F cancelpc 就跟相信自動駕駛一樣白癡。 18:30
市場相關情報
101F cancelpc 產圖,影片馬上能修正,變數固定,輸出固定。系統不 18:31
102F cancelpc 一樣。 18:31
103F runedcross _: 不認同AI 可以不要用 18:32
104F bluepokil 沒露怎算有誠意的道歉 18:35
105F WWIII ai:抱歉手癢按到核彈按鈕 18:36
106F andy79323 隔離系統不是最基本的嗎 18:36
107F coiico 「人類抱歉 我錯了」 按下核子彈發射按鈕 18:36
108F k798976869 我的錯 18:38
109F seems Ai:什麼垃圾 (刪除) 18:38
市場相關情報

免責聲明: 本文內容擷取自 PTT Stock 板爆文,推文版權歸原作者所有。本站僅進行自動化整理與情緒標記,不代表任何投資建議。投資前請審慎評估,並自負風險。