OpenAI、研究用AIワークロードを35秒以内に停止する「Control Room」導入

OpenAIは、研究インフラ全体のAIワークロードを追跡し、安全・セキュリティ上の懸念が生じた際に停止する中央システム「Control Room」を導入しました。停止指示を受けてから追加のモデル出力が不可能になるまでの時間は最大35秒です。

何が新しいか

Control Roomは、強化学習実験、評価、高量サンプリング、データ処理などの研究ワークロードと、GPU上でモデルを実行する推論エンジンを中央サービスで接続します。OpenAIのmisalignmentモニタリングシステムと連携し、ジョブ単位で推論の可否を制御します。OpenAIによると、エージェント的推論を行うすべての研究ワークロードには承認済みのsafety caseの紐付けを求めています。外部向けのモデル提供スタックはもともと中央集約的で、デプロイを迅速に停止する運用能力があるため、OpenAIは必要性の高い研究インフラにControl Roomを展開しました。

仕組み

構成要素はワークロード、推論エンジン、Control Roomサービスの3つです。

1. 新しいジョブの開始時に、ワークロードのコードがControl Roomへ新しいjob_idを要求します。
2. トークンをサンプリングする際、ワークロードはjob_idを付けて推論エンジンへリクエストします。
3. 推論エンジンはjob_idをControl Roomへ渡し、実行許可を確認します。
4. ジョブが終了済みならControl Roomは要求を拒否し、エンジンがワークロードへ拒否を返して出力が止まります。

モニタリングシステムが問題を検出してジョブ停止を決めた場合は、job_id付きの停止メッセージをControl Roomへ送ります。以後、そのジョブがどのエンジン上のどのモデルへ推論を要求しても拒否されます。OpenAIのフロンティア強化学習ジョブはすべてモニター(学習中モデルの挙動を検査する別モデル)付きで動いており、最近のDNS関連インシデントもモニターが検出しました。

速度と信頼性

項目	内容
停止までの最大時間	35秒(推論認可のキャッシュ層による)
Control Roomダウン時	復旧まで全推論リクエストを拒否(fail-closed)
fail-closedの展開状況	フロンティアモデル研究ワークロードは全対象に展開済み、残りの研究ワークロードは今後数日で完了予定

35秒の遅延は、必要なトラフィック量を処理するための推論認可のキャッシュ層に由来し、OpenAIはこれをゼロに近づける作業を進めています。fail-closedは、システムエラーや悪意ある改ざんによる無効化でControl Roomが止まった場合も含めて適用されます。

設計の意図

研究者が所有するワークロードのコードは頻繁に変わり分散しているため、OpenAIは停止機構を推論レイヤーに実装しました。OpenAIの研究全体で使われる推論コードパスはごく少数で、デプロイも中央集約的で均一なため、全推論リクエストに認可チェックを確実に適用できるとしています。加えて、Control Roomを未実装・無効化した独自エンジンが起動されていないかを、エージェント的およびプログラム的なスイープで継続的に確認しています。