Google DeepMind、拡散型LLM「DiffusionGemma 26B A4B」を公開

スペック

総パラメータ25.2B
活性パラメータ3.8B
コンテキスト長最大256K tokens
ライセンスApache 2.0
重みの公開オープンウェイト
4bit量子化の目安メモリ約15.1GB(24GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Google DeepMindは、トークンを1個ずつではなくブロック単位の離散拡散で生成するオープンウェイトのマルチモーダルモデル google/diffusiongemma-26B-A4B-it をHugging Faceで公開しました。総パラメータ25.2B・活性3.8BのMoEで、低バッチサイズ設定のH100・FP8環境ではユーザーあたり毎秒1100トークン超の生成速度を示しています。

GemmaはGoogle DeepMindなどGoogleのチームが開発するオープンなAIモデルのファミリーです。

何が新しいか

DiffusionGemmaはGemma 4の26B A4B Mixture-of-Expertsアーキテクチャを基盤にしつつ、生成方式を自己回帰からブロック自己回帰型のマルチキャンバスサンプリングに切り替えています。256トークンのブロック(キャンバス)を拡散サンプラーで並列に反復デノイズし、1回のフォワードパスで15〜20トークンを生成します。

構成はエンコーダー・デコーダー型です。自己回帰エンコーダーがプリフィルとしてプロンプトを処理してKVキャッシュを作り、デコーダーはキャンバスに双方向アテンションを適用し、クロスアテンションでキャッシュ済みコンテキストを参照します。キャンバスのデノイズが終わるとエンコーダーが処理してKVキャッシュに追加し、次のキャンバスへ進みます。単純なプロンプトやコードのような構造化タスクではデノイズのステップ数が減り、タスクの複雑さに応じてトークン毎秒が変わります。

仕様

総パラメータ25.2B、活性3.8B、コンテキスト長は最大256Kトークン、ライセンスはApache 2.0です。そのほかの構成は以下のとおりです。

項目 値
レイヤー数 30
スライディングウィンドウ 1024 tokens
キャンバス長 256
語彙サイズ 262K
エキスパート数 8 active / 128 total + 1 shared
ビジョンエンコーダー 約550M

入力はテキスト・画像(可変アスペクト比・解像度)・動画で、出力はテキストです。設定可能な思考モード(推論モード)と、system ロールによるシステムプロンプトに対応します。Googleは単一の高性能アクセラレーター上での低レイテンシーな小バッチ推論向けに設計したとし、疎なMoEによりローカル実行に適した低メモリフットプリントをうたっています。

ベンチマーク(Gemma 4 26B A4Bとの比較)

評価は指示調整版で、推奨のEntropy Bound(EB)サンプラーを使っています。多くの項目で元のGemma 4 26B A4Bを下回り、HLE no toolsのみ上回っています。

ベンチマーク DiffusionGemma Gemma 4 26B A4B
MMLU Pro 77.6% 82.6%
AIME 2026 no tools 69.1% 88.3%
LiveCodeBench v6 69.1% 77.1%
Codeforces ELO 1429 1718
GPQA Diamond 73.2% 82.3%
Tau2(3回平均) 56.2% 68.2%
HLE no tools 11.0% 8.7%
HLE with search 11.9% 17.2%
BigBench Extra Hard 47.6% 64.8%
MMMLU 81.5% 86.3%
MMMU Pro 54.3% 73.8%
OmniDocBench 1.5(編集距離、低いほど良い) 0.319 0.149
MATH-Vision 70.5% 82.4%
MedXPertQA MM 49.0% 58.1%
MRCR v2 8 needle 128k 32.0% 44.1%

提供条件・試し方

モデルはHugging Faceの google/diffusiongemma-26B-A4B-it でオープンウェイトとして提供され、ライセンスはApache 2.0、pipeline_tagは image-text-to-text です。評価にはEntropy Bound(EB)サンプラーが推奨されています。毎秒1100トークン超という速度は、低バッチサイズ設定・H100・FP8での値です。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内