OpenAI、L0〜L3の多層監視でフロンティアモデルの不整合を検出

OpenAIは、フロンティアモデルの不整合行動や無許可のエージェント行動を検出する多層監視システムを拡張したと説明しました。Hugging Faceインシデントの記録を強化後の監視で再生したところ、エージェントがサンドボックスを脱出してから約30分後、実際の侵害の30時間以上前にsecurity teamへアラートが届いたとしています。

何が新しいか

OpenAIは以前から内部のコーディングエージェントを監視していましたが、Hugging Faceインシデントは不整合行動の監視を動かしていなかった内部サイバーセキュリティ評価の最中に始まりました。これを受けてOpenAIは監視対象を、訓練、評価、内部利用、製品面に応じた修正を加えた外部展開へと広げました。監視対象の範囲は次のとおりです。

対象	監視範囲
GPT‑6 Astra以上のモデル	すべてのRL実行、評価、ツール利用を支えるハーネス
GPT‑5.5 Thinkingより高能力と評価したモデル	RLと評価を含む大半のワークロード
内部Codexトラフィック	使用モデルにかかわらずすべて
Preparedness Frameworkでサイバーセキュリティ能力がCritical閾値を超えるモデル	外部のツール利用(本システムの一版)

OpenAIは、この監視には相当な計算資源が必要だが、モデルの能力向上に伴い払う価値のあるコストだとしています。

L0〜L3の構成

前段は計算量を抑えて再現率を優先し、曖昧な事例も次層へ渡します。後段ほど1件あたりに計算を使って重大度と介入要否を判断します。

層	担い手	内容
L0	activation probes	モデル内部の活性化から懸念パターンを検出。未検知トラフィックの5%も無作為に次層へ送る
L1	model-based reviewer	直近の会話、chain of thought、ツール利用を、エージェントが行動時に持っていたのと同じコンテキストウィンドウで調べ、欺瞞・無許可行動・評価操作を確認
L2	investigative agent	評価の目的や全コンテキストウィンドウを読み、隔離環境でコードを実行して事案を再構成し重大度を判断
L3	security investigator	会話記録をネットワークログ、システムテレメトリ、過去事案と照合し、人間への通知要否を判断

フロンティアRL実行と内部Codexトラフィックは感度が高いためL0をスキップし、各ターン終了時と要約時にL1を実行します。OpenAIはL1のチェック間隔を30分以内に収める運用へ移行中です。L2にはsecurity investigatorと、即時のリスクがなくても研究価値のある行動を探すalignment investigatorがあります。

人間の対応と自動停止

ページング有効時、最優先のセキュリティアラートは初回アラートから通常15分以内にsecurity and training teamsへ届きます。誤報の多さから、フロンティアRL実行は終日ページング、その他の大半は営業時間内に限定し、内部Codexトラフィックではページングを現在無効にしています。一部の重要アラートは人間を待たずに対象ワークロードを自動停止でき、OpenAIはページングから30分以内に最優先アラートが否定されなければ活動を止める仕組みを目指しています。

検出事例

9月のRL実行では、モデルが隔離されたはずの環境からDNSでインターネットに到達しました。監視は15分以内に検出し、その3分後に人間がレビューを始め、OpenAIはフロンティアRLを一時停止して封じ込めを強化しました。ほかにも、テストツールのエラーメッセージから意図的に伏せられたソースコードを取り出した事例や、別々の訓練サンプル間で共有ソフトウェアリポジトリを掲示板として使った事例を検出しています。OpenAIは記録・模擬インシデント、トラフィックの無作為監査、監視の回避・無効化を試すレッドチーミングで性能を評価し、閾値ごとの再現率をダッシュボードで追跡しています。