Google DeepMind、エンコーダー不要の「Gemma 4 12B Unified」を公開

Google DeepMindは、テキスト・画像・音声・動画を入力できるオープンウェイトモデル「Gemma 4 12B Unified」(google/gemma-4-12B)のモデルカードをHugging Faceで公開しました。総パラメータは11.95B、コンテキスト長は256K tokens、ライセンスはApache 2.0で、別個の画像・音声エンコーダーを持たないエンコーダーフリー構成を採ります。

Gemmaは、Google DeepMindなどGoogleのチームが開発するオープンなAIモデルのファミリーで、モデルの重みと開発用ツールを提供しています。

何が新しいか:エンコーダーフリーの統合構成

「Unified」はエンコーダーフリーの構成を指します。他のGemma 4モデルは専用エンコーダーでマルチモーダルデータを処理してからLLMに渡しますが、12B Unifiedはこれを取り除き、生の画像パッチと音声波形を軽量な線形層でLLMの埋め込み空間へ直接投影します。すべてのモダリティが単一のdecoder-only Transformerに流れ込むため、Google DeepMindはマルチモーダル処理の遅延を抑え、モデル全体を一度にファインチューニングできると説明しています。

入力はテキスト・画像・音声・動画、出力はテキストです。画像は可変アスペクト比・可変解像度に対応し、音声入力はGemma 4ではE2B、E4B、12Bがネイティブに対応します。systemロールもネイティブに扱えます。

仕様:Dense系モデルとの比較

項目	E2B	E4B	12B Unified	31B Dense
総パラメータ	2.3B effective(埋め込み込み5.1B)	4.5B effective(同8B)	11.95B	30.7B
層数	35	42	48	60
スライディングウィンドウ	512 tokens	512 tokens	1024 tokens	1024 tokens
コンテキスト長	128K	128K	256K	256K
対応モダリティ	テキスト・画像・音声	テキスト・画像・音声	テキスト・画像・音声	テキスト・画像
ビジョンエンコーダー	約150M	約150M	なし	約550M
音声エンコーダー	約300M	約300M	なし	音声非対応

語彙サイズはいずれも262Kです。アテンションはローカルのスライディングウィンドウとグローバルアテンションを交互に配置するハイブリッド方式で、最終層は常にグローバルです。グローバル層はKeyとValueを統合し、Proportional RoPE(p-RoPE)を適用して長コンテキスト時のメモリを抑えます。

提供形態

Google DeepMindは事前学習済みとinstruction-tunedの両バリアントをオープンウェイトで公開し、Hugging Face、GitHub、Launch Blog、Documentation、Technical Reportへのリンクを用意しています。原文は12B Unifiedを、別エンコーダーなしでローカル環境に音声・視覚理解を持ち込める、コンシューマー機器向けのサイズと位置づけています。

Gemma 4ファミリー内の位置づけ

Gemma 4はE2B、E4B、12B、26B A4B、31Bの5サイズで構成され、140以上の言語に対応します。E2B・E4Bはモバイル・エッジ向け、12B・26B A4B・31BはコンシューマーGPUやワークステーション向けと位置づけられています。MoEの26B A4Bは総パラメータ25.2B、アクティブ3.8B、30層、コンテキスト長256Kです。ファミリー全体で設定可能な思考モード、ネイティブのfunction calling、コーディングとエージェント用途の強化をうたっています。