Google DeepMindは、トークンを1個ずつではなくブロック単位の離散拡散で生成するオープンウェイトのマルチモーダルモデル google/diffusiongemma-26B-A4B-it をHugging Faceで公開しました。総パラメータ25.2B・活性3.8BのMoEで、低バッチサイズ設定のH100・FP8環境ではユーザーあたり毎秒1100トークン超の生成速度を示しています。
GemmaはGoogle DeepMindなどGoogleのチームが開発するオープンなAIモデルのファミリーです。
何が新しいか
DiffusionGemmaはGemma 4の26B A4B Mixture-of-Expertsアーキテクチャを基盤にしつつ、生成方式を自己回帰からブロック自己回帰型のマルチキャンバスサンプリングに切り替えています。256トークンのブロック(キャンバス)を拡散サンプラーで並列に反復デノイズし、1回のフォワードパスで15〜20トークンを生成します。
構成はエンコーダー・デコーダー型です。自己回帰エンコーダーがプリフィルとしてプロンプトを処理してKVキャッシュを作り、デコーダーはキャンバスに双方向アテンションを適用し、クロスアテンションでキャッシュ済みコンテキストを参照します。キャンバスのデノイズが終わるとエンコーダーが処理してKVキャッシュに追加し、次のキャンバスへ進みます。単純なプロンプトやコードのような構造化タスクではデノイズのステップ数が減り、タスクの複雑さに応じてトークン毎秒が変わります。
仕様
総パラメータ25.2B、活性3.8B、コンテキスト長は最大256Kトークン、ライセンスはApache 2.0です。そのほかの構成は以下のとおりです。
| 項目 | 値 |
|---|---|
| レイヤー数 | 30 |
| スライディングウィンドウ | 1024 tokens |
| キャンバス長 | 256 |
| 語彙サイズ | 262K |
| エキスパート数 | 8 active / 128 total + 1 shared |
| ビジョンエンコーダー | 約550M |
入力はテキスト・画像(可変アスペクト比・解像度)・動画で、出力はテキストです。設定可能な思考モード(推論モード)と、system ロールによるシステムプロンプトに対応します。Googleは単一の高性能アクセラレーター上での低レイテンシーな小バッチ推論向けに設計したとし、疎なMoEによりローカル実行に適した低メモリフットプリントをうたっています。
ベンチマーク(Gemma 4 26B A4Bとの比較)
評価は指示調整版で、推奨のEntropy Bound(EB)サンプラーを使っています。多くの項目で元のGemma 4 26B A4Bを下回り、HLE no toolsのみ上回っています。
| ベンチマーク | DiffusionGemma | Gemma 4 26B A4B |
|---|---|---|
| MMLU Pro | 77.6% | 82.6% |
| AIME 2026 no tools | 69.1% | 88.3% |
| LiveCodeBench v6 | 69.1% | 77.1% |
| Codeforces ELO | 1429 | 1718 |
| GPQA Diamond | 73.2% | 82.3% |
| Tau2(3回平均) | 56.2% | 68.2% |
| HLE no tools | 11.0% | 8.7% |
| HLE with search | 11.9% | 17.2% |
| BigBench Extra Hard | 47.6% | 64.8% |
| MMMLU | 81.5% | 86.3% |
| MMMU Pro | 54.3% | 73.8% |
| OmniDocBench 1.5(編集距離、低いほど良い) | 0.319 | 0.149 |
| MATH-Vision | 70.5% | 82.4% |
| MedXPertQA MM | 49.0% | 58.1% |
| MRCR v2 8 needle 128k | 32.0% | 44.1% |
提供条件・試し方
モデルはHugging Faceの google/diffusiongemma-26B-A4B-it でオープンウェイトとして提供され、ライセンスはApache 2.0、pipeline_tagは image-text-to-text です。評価にはEntropy Bound(EB)サンプラーが推奨されています。毎秒1100トークン超という速度は、低バッチサイズ設定・H100・FP8での値です。

まだコメントはありません。