言語モデルのエンジニアリング作業での実用性能を算出するModels Engineering Index(Mei)は、19モデルのランキングを公開しました。GoogleのGemini 4 NeonがIndexスコア69.5で首位に立ち、AnthropicのFable 5.2(65.8)が続きます。
GeminiはGoogle DeepMindが開発するAIモデルのファミリーで、推論やコードの作成、外部ツールを使う複数段階の課題処理に利用できます。
ランキング上位
| 順位 | モデル | 提供元 | Index | コスト | トークン |
|---|---|---|---|---|---|
| 1 | Gemini 4 Neon | 69.5 | 1.9× | 1× | |
| 2 | Fable 5.2 | Anthropic | 65.8 | 6.5× | 2.1× |
| 3 | Opus 5.5 | Anthropic | 63.1 | 3.5× | 1.7× |
| 4 | 6.2 Astra | OpenAI | 60.5 | 1.4× | 0.29× |
| 5 | 4 Hydrogen | 57.2 | 1.2× | 1.1× | |
| 6 | Sonnet 5.5 | Anthropic | 57.2 | 2.5× | 2.5× |
| 7 | 6.2 Sol | OpenAI | 56.9 | 0.4× | 0.35× |
下位にはMetaのWonder Full(49.3)、MoonshotのK3.1 Pro(49.0)、DeepSeekのV4.1 Flash(44.1、コスト0.13×)、xAIのGrok 4.7(42.7)などが並び、最下位はOpenAIの6 Luna(34.8、コスト0.065×)です。
算出方法
Meiは各ベンチマークのスコアを標準化し、モデル効果とベンチマーク効果を同時に適合してIndexを推定します。易しいベンチマークだけに載るモデルが有利にならず、欠けたベンチマークで不利にならない設計です。結果は掲載モデルの平均が50、標準偏差が10になるよう再スケーリングしています。コストとトークン使用量は対数スケールで同様に適合し、典型的モデルを1×として表示します。データはCognition、Cursor、Laude Institute、Vals AIから得ています。
限界
Mei自身は次の制約を挙げています。
- モデルごとにテストされたベンチマークのサブセットが異なり、根拠となる証拠量に大きな差がある
- 誤差範囲がなく、小さなスコア差には意味がない可能性がある
- スコアは掲載モデルに対する相対値で、モデルの追加・削除で変動する
- ベンチマークは規模や信頼性にかかわらず均等に重み付け
- コストは各ベンチマーク実行時の報告値で、当時の価格と設定を反映し、個別ワークロードのコストではない
- 結果は公開値の再現で独立検証されておらず、汚染やベンチマークへのチューニングの影響を受けうる
データの入手
詳細なデータとソースはGitHubで公開されています。

まだコメントはありません。