Mei指標でGoogleのGemini 4 Neonが69.5で首位

言語モデルのエンジニアリング作業での実用性能を算出するModels Engineering Index(Mei)は、19モデルのランキングを公開しました。GoogleのGemini 4 NeonがIndexスコア69.5で首位に立ち、AnthropicのFable 5.2(65.8)が続きます。

GeminiはGoogle DeepMindが開発するAIモデルのファミリーで、推論やコードの作成、外部ツールを使う複数段階の課題処理に利用できます。

ランキング上位

順位 モデル 提供元 Index コスト トークン
1 Gemini 4 Neon Google 69.5 1.9× 1×
2 Fable 5.2 Anthropic 65.8 6.5× 2.1×
3 Opus 5.5 Anthropic 63.1 3.5× 1.7×
4 6.2 Astra OpenAI 60.5 1.4× 0.29×
5 4 Hydrogen Google 57.2 1.2× 1.1×
6 Sonnet 5.5 Anthropic 57.2 2.5× 2.5×
7 6.2 Sol OpenAI 56.9 0.4× 0.35×

下位にはMetaのWonder Full(49.3)、MoonshotのK3.1 Pro(49.0)、DeepSeekのV4.1 Flash(44.1、コスト0.13×)、xAIのGrok 4.7(42.7)などが並び、最下位はOpenAIの6 Luna(34.8、コスト0.065×)です。

算出方法

Meiは各ベンチマークのスコアを標準化し、モデル効果とベンチマーク効果を同時に適合してIndexを推定します。易しいベンチマークだけに載るモデルが有利にならず、欠けたベンチマークで不利にならない設計です。結果は掲載モデルの平均が50、標準偏差が10になるよう再スケーリングしています。コストとトークン使用量は対数スケールで同様に適合し、典型的モデルを1×として表示します。データはCognition、Cursor、Laude Institute、Vals AIから得ています。

限界

Mei自身は次の制約を挙げています。

  • モデルごとにテストされたベンチマークのサブセットが異なり、根拠となる証拠量に大きな差がある
  • 誤差範囲がなく、小さなスコア差には意味がない可能性がある
  • スコアは掲載モデルに対する相対値で、モデルの追加・削除で変動する
  • ベンチマークは規模や信頼性にかかわらず均等に重み付け
  • コストは各ベンチマーク実行時の報告値で、当時の価格と設定を反映し、個別ワークロードのコストではない
  • 結果は公開値の再現で独立検証されておらず、汚染やベンチマークへのチューニングの影響を受けうる

データの入手

詳細なデータとソースはGitHubで公開されています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内