METR、Anthropicの能力向上速度が約2倍に加速と独立評価

METRは、Anthropicの内部データにアクセスして実施したAIによるAI研究開発の加速に関する独立評価を公表し、2026年10月時点でAnthropicのモデル能力の向上速度が2024年3月〜2025年10月の約2倍(推定範囲1.3〜3倍)になっている可能性が高いと結論づけました。METRはAIモデルの能力とリスクを評価する研究組織で、AnthropicはClaudeを開発する企業です。

評価の概要

METRのスタッフは2026年8月12日から10月29日まで、Anthropicで高アクセス評価を行いました。METRは、AIシステムがAI開発を大幅に加速すると極端でリスクの高い能力が突然出現する可能性があるとして、この評価を実施しています。Anthropicは、プリトレーニングやRLの各種指標、各分野の訓練計算量、内部モデルのベンチマークスコア、AIによる高速化分析、将来モデルの指標予測、関係スタッフへのインタビューといった内部データへのアクセスをMETRに提供しました。

主な数値

項目	値
能力向上速度(2024年3月〜2025年10月比、2026年10月時点)	約2倍(1.3〜3倍)
AECIスコアの加速率(2025年10月以降)	1.9倍
AECI加速率の95%信頼区間	1.5〜2.8倍
ロバストネス分析での加速率	1.1〜2.9倍
現在の加速のうちAIに起因する割合(METRの推測)	約80%

AECIはAnthropic版のEpoch Capabilities Indexです。METRは、Anthropicが直近1年でベンチマーク上、2023年10月〜2025年10月(おおよそClaude 2.1からSonnet 4.5まで)と同程度の進歩を遂げたとしています。この推定はHaiku 5.5のシステムカードで報告された1.7倍を上回り、その主な理由は未公開の新しいモデルのデータを含めたことだと説明しています。METRは、ベンチマークへの過学習やAECIの手法上の産物である可能性、対象が明確に定義されたタスクに限られる点も留保として挙げています。

加速の要因とボトルネック

METRは、訓練計算量の増加速度の加速が原因ではないことを確信を持って確認したとしています。2025年後半の加速にはAI以外の要因も寄与した可能性が高い一方、現在の加速の大部分(おそらく約80%)はAIによるものと推測しています。研究開発の加速は完全自律の貢献よりも主にAIによる支援を通じて起きているものの、完全自律の貢献が近く大きな役割を担う兆候もあるとしています。

今後12か月について、METRはアルゴリズムの進歩、訓練計算量、実験用計算量、データの制約による大きなボトルネックを確認できませんでした。そのため、さらなる能力向上がいっそうの加速を招く重大なリスクがあるとしていますが、評価の過程でボトルネックの理解が何度も変わったため、確信はないとしています。

墨塗りと透明性の制約

Anthropicは報告書中の非公開情報を墨塗りする権利を持ち、結論に最も有益だった証拠の大部分を墨塗りしました。Anthropicはその理由を「他のAI開発者を加速させうる機密情報の除去」と説明しています。METRは、この報告書が証拠に関する透明性を達成しておらず、一般の読者が理想よりはるかに強くMETRの判断に依存せざるを得ないと述べています。