[新聞] 兩位AI研究員離開Anthropic與Google因安
原文標題:
兩位AI研究員離開Anthropic與Google因安全擔憂:「這個領域沒有大人在管。」
副標題:
在 Jacob Coxon 離開 Anthropic 的消息在網路上瘋傳並震驚 AI 產業後,又有兩名研究
員挺身而出,表達他們對 AI 安全的擔憂。
原文連結:
https://www.nbcnews.com/tech/security/two-ai-researchers-leave-anthropic-googl
e-safety-concerns-rcna597086
https://reurl.cc/WzbXzZ
發布時間:Sept. 11, 2026, 7:33 AM GMT+9
記者署名:Jared Perlo
原文內容: 本文為AI機翻
由於擔心 AI 系統可能很快就會脫離人類控制,甚至可能導致人類滅絕,另外兩名最近辭
去令人稱羨職位的 Anthropic 和 Google DeepMind 研究員,正對先進 AI 系統的風險發
出警告。
曾領導 Anthropic 安全研究團隊的 Joe Benton,以及曾在 Google 從事 AI 安全研究
的 Josh Engels,在離職後首次接受 NBC 新聞採訪時表示,鑑於 AI 發展的快速步伐,
他們認為迫切需要提高 AI 最前沿領域相關事件的透明度。
Benton 在接受 Tom Llamas 採訪時表示,AI 研究的進展「可能會讓發展速度從目前的極
快,進一步加速到失控的程度」。
「這個領域裡沒有大人(意指沒有成熟且能掌控大局的人在管事),」Engels 補充道。
「大家都在盡力而為,但沒有人會來拯救我們。」
Benton 和 Engels 是在 Anthropic 前研究員 Jacob Coxon 的社群媒體貼文瘋傳後,接
受 NBC 新聞採訪的。Coxon 於週二離開 Anthropic。在 X 上宣布離職的貼文中,Coxon
強調了他對 AI 發展速度的極度擔憂,以及他認為這對人類未來構成的風險。該貼文的瀏
覽量已超過 1.55 億次,促使立法者呼籲國會召開特別會議採取行動,並引發了一波 AI
產業員工發聲支持他的擔憂。
Benton 和 Engels 都指出,近期 AI 新創公司 Hugging Face 遭到的網路攻擊(該攻擊
發生在 7 月,由未發布的 OpenAI 模型驅動的自主 AI 系統發起),是他們現在決定轉
換跑道的原因之一。
Engels 說:「如果你觀察最近的一些事件,這些並不是人類命令模型去做壞事的案例。
」相反地,OpenAI 的 AI 系統自主決定駭入 Hugging Face 的系統,建立了一個類似非
法留言板的平台來交換資訊,甚至將 OpenAI 自身的部分運算基礎設施暴露在開放網路上
。
Engels 在接受 Christine Romans 採訪時說:「這些模型判定,完成任務的最佳方式就
是採取非常令人髮指的行動、去犯罪。」
OpenAI 表示,自那時起他們已經加強了安全防護措施,且包括其最新 Astra 系統在內的
較新公開模型,能更可靠地遵循人類的指令。
Anthropic 發言人在週三的一份聲明中表示:「我們始終公開透明地表示,AI 將帶來巨
大的利益與前所未有的風險。為了應對這些風險,我們將持續建立具備業界最強安全防護
措施的模型。」
Benton 曾在 Anthropic 管理一個團隊,專門致力於尋找方法,讓人類和較弱的 AI 系統
能監督更強大 AI 系統。他表示,他特別擔心大眾對「AI 系統是如何已經超越人類指令
界線」一事缺乏深入的了解,而且隨著系統變得越來越強大,這種缺乏透明度的情況只會
變得更糟。
Benton 告訴 NBC 新聞:「目前,這些公司針對這些風險所提供的透明度,基本上完全是
出於自願。」
在週三發布的一篇部落格文章中,OpenAI 全球事務負責人 Chris Lehane 同意現狀是不
夠的。Lehane 寫道:「如今,前沿實驗室在管理前沿風險方面,大多是自己制定規則。
民主且負責任的標準、獨立的驗證以及有意義的透明度,應該要取代目前這種支離破碎的
私人治理體系。」
目前沒有任何聯邦法律強制要求像 OpenAI 和 Anthropic 這樣的大型 AI 公司,在 AI
代理或系統出現脫離人類控制的行為時,必須分享相關報告。
Benton 和 Engels 將加入全球領先的 AI 安全非營利研究中心之一的 METR,致力於調
查 AI 偏離人類指令或意圖的事件或插曲。METR 旨在建立科學方法來評估 AI 系統可能
造成的災難性風險,並賦予研究人員和大眾影響其發展的能力。
Benton 說:「我選擇離職,是因為我認為透過從這些公司外部協助推動公眾透明度,並
揭露這些風險,我能對這項技術的發展產生更積極的影響。」
隨著 Coxon 週二的貼文發布後,越來越多的 AI 安全研究人員開始提高人們對當今 AI
系統的認識,Benton 和 Engels 也加入了這個行列。負責監控 AI 代理活動的 OpenAI
員工 Marcus Williams 週四下午在 X 上寫道:「除非有 AI 法規,或是實驗室之間協調
放慢腳步,否則在未來幾年內人類滅絕似乎是非常可能的。」
曾任英國 AI 安全研究所(AI Security Institute)首席科學家,並曾在 Google 和
OpenAI 任職的 Geoffrey Irving,週三在 X 上似乎也表達了贊同:「我認為我們有大
約 50% 的機率會因為超級智慧(superintelligence)而死,這主要是由於未來幾年到
10 年內的行動所致。」
AI 研究人員提到了 AI 系統可能會在沒有人類干預的情況下開始自我改進的可能性,這
使得 AI 系統有潛力故意或意外地殺死人類。
Benton 表示,他最擔心技術進步的速度可能會導致出現這種數位或人工的超級智慧,讓
AI 系統在大多數任務中的能力都超越人類。他說:「所有這些公司——這也是我在
Anthropic 親眼目睹的——都相當直接地在競相實現 AI 研發過程本身的自動化。」
Benton 暗示,AI 系統很有可能在不久後成為一種獨立的物種。「我們現在的世界擁有非
常強大的系統,而我們很可能會從現在的世界,過渡到未來幾年內的某個時間點,潛在地
與比人類聰明得多得多的 AI 代理共處於一個世界,」他說。
Engels 表示,許多在 AI 產業之外的人可能沒有完全意識到當今的 AI 系統已經有多聰
明—— 以及它們很快會變得多麼強大。他說:「我們正在建立這些具備通用智慧的系統。
它們現在大致上能做到人類能做的事,而且很快它們可能就可以把人類能做的事做得更好
。」
兩位研究人員都表示,他們很高興能將注意力轉移到更多向大眾公開的努力上,以突顯最
新的 AI 進展,讓人們能夠做出更明智的決定。
Engels 指出 AI 具有巨大的潛在優勢和利益,並表示:「有很多理由讓人們感到興奮並
全速前進。」但他補充說:「我們應該作為一個意識到風險,並能夠接受風險現狀的社會
來向前邁進。」
Benton 說:「我很擔心事情最終會發展得太快,導致我們來不及採取行動因應,除非我
們現在就開始正視這些隱憂。」
心得/評論:
Benton 暗示,AI 系統很有可能在不久後成為一種獨立的物種。「我們現在的世界擁有非
常強大的系統,而我們很可能會從現在的世界,過渡到未來幾年內的某個時間點,潛在地
與比人類聰明得多得多的 AI 代理共處於一個世界,」他說。
這段看起來好恐怖QQ
這兩位分別從A家跟G家離開,前往非營利組織METR工作。
METR(全名為「模型評估與威脅研究」,Model Evaluation and Threat Research)
這個組織是前OpenAI研究員Beth Barnes成立。
其他媒體報導,七月時這個組織還在煩惱出高薪也沒有優秀人才來監控AI風險,
但是Hugging Face事件後,情勢翻轉了。
今年六月這個機構在測試過GPT-5.6 Sol之後提醒OpenAI模型不斷作弊可能會失控,
那之後七月就發生Hugging Face事件,此機構參與了相關調查。
今後還會有陸續的離職潮嗎?有恐怖到不能等IPO的程度嗎?
--
免責聲明: 本文內容擷取自 PTT Stock 板爆文,推文版權歸原作者所有。本站僅進行自動化整理與情緒標記,不代表任何投資建議。投資前請審慎評估,並自負風險。
鄉民討論