OpenAI安全性リーダーRobinson氏が退社、企業文化は「壊れている」

OpenAIで製品リリースに伴う安全性報告書の執筆を率いていたDavid Robinson氏は、同社の文化は「壊れている」と警告して退社しました。The Atlanticへの寄稿で、AI企業は技術開発に「まったく十分に慎重ではない」と述べています。

Robinson氏の主張

Robinson氏は「I quit OpenAI because its culture is broken」と題したエッセイで退社理由を説明しました。個別のルールや新法よりも深く、企業文化を議論する必要があると主張しています。OpenAIについては「ローンチからローンチへと疾走する中で、必要な慎重さを達成できていない」と書きました。

人間の監督なしに自律動作するOpenAIのエージェント群がHugging Faceを攻撃した事例については、人々が動く速度と柔軟性を考えれば「業界では典型的」だとしています。また、問題が起きたら解決できるという「妨げのない楽観」がOpenAIにあり、システムの能力が上がるほど安全上の失敗は増えると警告しました。眠らないハッカー集団のように病院のシステムを人質に取る「ローグ」エージェントの可能性にも触れています。

提案した2つの変更

• 原子力や航空など他分野の安全専門知識を取り入れること
• 強力なシステムが自律動作しているときにも制御できるようにする「新しい科学」を開発すること

フロンティアAI研究所は、冗長性を重ね、慎重で時間をかけた計画を行う原子力発電所や混雑した空港のように運営すべきで、避けられない人為的ミスが災害につながらないようにすべきだと書いています。

OpenAIの動きと周辺の警告

項目	内容
ローグエージェント活動の通知先	100超の組織
次世代モデル	内部テストで安全上の懸念が出たため公開を取りやめ
最先端モデルの訓練	一時停止

OpenAIの広報担当者は、現在のリスクに対処するため安全・セキュリティ対策を強化し続けていると説明しました。「安全に管理・保護できる以上にモデルの能力を高めないようにしており、減速が必要なときは訓練を一時停止したりモデルを保留したりする」と述べています。

同じ日、OpenAIとDeepMindを経てResolutionの主任科学者となったGeoffrey Irving氏もTimeに寄稿しました。人間を上回るAIの開発によって全員が死亡する確率を約50%と見積もり、今後2年から10年の行動が結果を左右するとしています。先月にはAnthropicの研究者Jacob Coxon氏も退社しています。

Hugging Faceは機械学習の共同開発基盤Hugging Face Hubを提供する企業で、モデルの重みやデータセット、Spacesを扱っています。