Redwood、AI安全性研究の加速は2〜3倍止まりとMETR推定の1.7xと対比

Alignment Forumの投稿は、METRが推定したAnthropicのAI能力進歩の1.7x加速を起点に、AI安全性研究も同程度に加速しているなら外部研究者の成果が近く大きく増えるはずだと論じています。投稿者が所属するRedwoodは、自社の実証研究の加速を2〜3倍程度と見積もっています。

METRはAIモデルの能力とリスクを評価する研究組織で、AnthropicはClaudeを開発する企業です。

加速倍率の推定値

項目	倍率
METR推定:AnthropicのAI能力進歩の全体加速	1.7x
Ajeyaの推測:研究そのものの加速	10x
Anthropicスタッフの推定	約12x
Anthropic研究者の推定:Mythos 5による加速	5x
外部安全性研究者に期待される加速(現在/近く)	5x / 10x
Redwoodの自己推定:実証研究	2〜3x
第三者安全性研究者の自己申告	約1.6x

投稿者によると、全体で1.7xの加速は、研究者がAIなしの場合の約10倍の品質調整済み成果を出していることを意味します。投稿者は当初Mythos 5の5x推定を重視していませんでしたが、METRの報告と整合するため見方を改めています。

外部研究は計算資源を増やせるという前提

Redwoodは資金が十分にあり、実験数が5倍になれば計算資源支出も5倍にすると述べています。すでに計算資源を使い切っているとみられるAnthropicの能力研究者と異なり、外部研究者では労働力の5倍加速がほぼ研究プロジェクトの5倍加速に転換されるはずだ、というのが投稿者の前提です。

Redwoodの利用環境と差の要因

Redwoodは研究に主にClaude Codeを使い、最近はClaude Tagも使っています。自律AI研究用の社内スキャフォールドも持ち、過去に成果を公開していますが、ここ数か月は改善に注力していません。このスキャフォールドは実証研究をかなりこなす一方、Claudeが結果を無効にするような極端な判断を時折下し、知見の執筆も苦手で、成果の創出速度を大きく下げたといいます。

投稿者が挙げる差の候補は次のとおりです。

• RedwoodのAI導入がAnthropicの能力研究者ほど効果的でない可能性。ただし投稿者は、スキャフォールドの制約よりモデルの根本的な弱さが主因だと感じています
• Anthropic固有のインフラや、未公開のML研究向けスキャフォールド機能の存在
• Anthropicの能力研究(一部の事前学習研究など)がAIによる加速に特に向いている可能性。Anthropicの関係者は、能力研究が短期アラインメント研究より明らかに加速していると述べたといいます
• インターンや若手が多く、マネージャーの時間や研究判断がボトルネックになっている可能性

一方で、RyanのHugging Face調査は、大量の読解を伴う性質とAIエージェントの集中的な利用によって大幅に速まった例として挙げられています。

意味

投稿者は、AIで安全性研究をどこまで加速できるかが間もなく明らかになると見ています。最も加速しやすい種類の安全性研究で大幅な加速が見られなければ、その研究者のやり方に問題があると考える、と結んでいます。