Google、Gemma 4向けMTPドラフター12Bを公開 デコード最大3倍速

Google DeepMindはHugging Faceで、Gemma 4向けのMulti-Token Prediction(MTP)ドラフター「google/gemma-4-12B-it-assistant」のモデルカードを公開しました。Speculative Decodingパイプラインで使うと、標準生成と同じ品質を保証したまま最大3倍のデコード高速化を実現するとしています。

GemmaはGoogle DeepMindなどGoogleのチームが開発するオープンなAIモデルのファミリーで、Geminiと共通の研究や技術を基にしています。

MTPドラフターの仕組み

MTPはベースモデルを小型・高速のドラフトモデルで拡張する方式です。ドラフトモデルが複数トークン先を予測し、ターゲットモデルがそれを並列に検証します。モデルカードは、このチェックポイントを低レイテンシ用途やオンデバイス用途に向けたものと位置づけています。ライセンスはApache 2.0、オープンウェイトで、pipeline_tagはany-to-anyです。

Gemma 4 12B Unifiedの仕様

対象の12B Unifiedは総パラメータ11.95B、48層、スライディングウィンドウ1024トークン、コンテキスト長256K、語彙262Kです。入力はテキスト・画像・音声、出力はテキストです。

「Unified」はエンコーダーを持たない構造を指します。他のGemma 4モデルが専用エンコーダーでマルチモーダルデータを処理するのに対し、12Bは画像パッチと音声波形を軽量な線形層で直接LLMの埋め込み空間へ投影します。全モダリティが単一のdecoder-only transformerに流れるため、マルチモーダルのレイテンシを下げ、モデル全体を1パスでファインチューニングできるとしています。

Gemma 4ファミリーの構成

モデル	総パラメータ	層数	コンテキスト長	モダリティ
E2B	2.3B effective(埋め込み込み5.1B)	35	128K	テキスト・画像・音声
E4B	4.5B effective(埋め込み込み8B)	42	128K	テキスト・画像・音声
12B Unified	11.95B	48	256K	テキスト・画像・音声
31B Dense	30.7B	60	256K	テキスト・画像

MoEの26B A4Bは総パラメータ25.2B、アクティブパラメータ3.8B、30層、スライディングウィンドウ1024トークンです。

Gemma 4は140以上の言語に対応し、設定可能なthinkingモード、ネイティブのfunction calling、systemロールのネイティブサポートを備えます。アテンションはローカルのスライディングウィンドウとグローバルアテンションを交互に配置し、最終層は常にグローバルです。グローバル層ではKeyとValueを統一し、Proportional RoPE(p-RoPE)を適用して長コンテキスト時のメモリを抑えます。

使い方

MTPドラフターは単体ではなく、Speculative Decodingパイプラインでターゲットモデルと併用します。モデルカードからはHugging Face、GitHub、Launch Blog、Documentation、Technical Reportへのリンクを参照できます。