Google DeepMind、Gemma 4を5サイズで公開 最大256Kコンテキスト

Google DeepMindは、オープンウェイトのマルチモーダルモデル群Gemma 4を、E2B、E4B、12B、26B A4B、31Bの5サイズで公開しました。コンテキスト長は最大256K tokensで、140以上の言語に対応します。

GemmaはGoogle DeepMindなどGoogleのチームが開発するオープンなAIモデルのファミリーで、Geminiと共通の研究や技術を基にしています。

何が新しいか

Gemma 4は全モデルがテキストと画像(可変アスペクト比・解像度)を入力でき、E2B、E4B、12Bは音声入力にもネイティブ対応します。出力はテキストです。全モデルが設定可能なthinking modesを持ち、ネイティブ関数呼び出しとsystemロールに対応します。構成にはDenseとMixture-of-Experts(MoE)の両方があります。

アーキテクチャ面では、ローカルのスライディングウィンドウattentionとグローバルattentionを交互に配置し、最終層を常にグローバルにするハイブリッドattentionを採用しています。グローバル層ではKeyとValueを統合し、Proportional RoPE(p-RoPE)を適用して長文脈時のメモリを抑えます。

仕様

モデル	パラメータ	層数	スライディングウィンドウ	コンテキスト長	入力
E2B	2.3B effective(埋め込み込み5.1B)	35	512	128K	テキスト・画像・音声
E4B	4.5B effective(埋め込み込み8B)	42	512	128K	テキスト・画像・音声
12B Unified	11.95B	48	1024	256K	テキスト・画像・音声
26B A4B MoE	総25.2B / 活性3.8B	30	1024	256K	テキスト・画像
31B Dense	30.7B	60	1024	256K	テキスト・画像

語彙サイズは全モデル262Kです。E2B/E4BのビジョンエンコーダはE約150M、音声エンコーダは約300M、26B A4Bと31Bのビジョンエンコーダは約550Mです。

• E2B/E4B: 「E」はeffectiveの意味で、各デコーダ層がトークンごとに小さな埋め込みを持つPer-Layer Embeddings(PLE)を使います。埋め込みテーブルは大きいもののルックアップ専用のため、実効パラメータ数が総数より小さくなります。
• 12B Unified: 専用エンコーダを持たず、画像パッチと音声波形を軽量な線形層でLLMの埋め込み空間へ直接射影します。単一のdecoder-only transformerで全モダリティを処理し、モデル全体を1回で追加学習できます。
• 26B A4B MoE: エキスパートは128個中8個が活性、加えて共有エキスパートが1個です。推論時は約4Bのサブセットだけを使うため、31B Denseより高速な推論を狙った構成です。

提供条件と想定環境

ライセンスはApache 2.0で、事前学習済み版とinstruction-tuned版を提供します。E4BのHugging FaceリポジトリIDはgoogle/gemma-4-E4Bです。想定デプロイ先は、E2B・E4Bがモバイルやエッジ端末、ノートPC、12B・26B A4B・31BがコンシューマGPUやワークステーションです。用途としてテキスト生成、コーディング、推論、エージェントワークフロー、マルチモーダル理解を挙げています。