Google DeepMind、Gemma 4を5サイズで公開 最小E2Bは有効2.3B

Google DeepMindは、オープンウェイトモデルファミリー「Gemma 4」をHugging Faceで公開しました。最小構成のgoogle/gemma-4-E2B-itは有効パラメータ2.3B(埋め込み込み5.1B)、コンテキスト長128K tokens、Apache 2.0ライセンスです。

Gemmaは、Google DeepMindなどGoogleのチームが開発するオープンなAIモデルのファミリーで、Geminiと共通の研究や技術を基にしています。

何が新しいか

Gemma 4はテキストと画像を入力してテキストを出力するマルチモーダルモデルで、E2B・E4B・12Bは音声入力にもネイティブ対応します。全モデルが可変アスペクト比・解像度の画像に対応し、ビデオも処理します。DenseとMoEの両構成を揃え、推論、コーディング、エージェントワークフロー、マルチモーダル理解を対象としています。主な機能は次のとおりです。

• 設定可能な思考モード
• ネイティブなfunction-calling
• systemロールのネイティブ対応
• 140以上の言語に対応

アーキテクチャは、ローカルのsliding window attentionとglobal attentionを交互に配置するハイブリッド注意機構で、最終層は常にglobalです。長コンテキストのメモリ最適化のため、global層ではKeysとValuesを統合し、Proportional RoPE(p-RoPE)を適用しています。

モデルラインアップと仕様

モデル	総パラメータ	層数	Sliding Window	コンテキスト長	入力モダリティ
E2B	2.3B effective(5.1B with embeddings)	35	512	128K	Text, Image, Audio
E4B	4.5B effective(8B with embeddings)	42	512	128K	Text, Image, Audio
12B Unified	11.95B	48	1024	256K	Text, Image, Audio
26B A4B MoE	25.2B(活性3.8B)	30	1024	256K	Text, Image
31B Dense	30.7B	60	1024	256K	Text, Image

語彙サイズは全モデル262Kです。ビジョンエンコーダはE2B・E4Bが約150M、31Bと26B A4Bが約550M、オーディオエンコーダはE2B・E4Bが約300Mです。

• E2B/E4Bの「E」: effectiveの意味です。Per-Layer Embeddings(PLE)により各デコーダ層がトークンごとに小さな埋め込みを持ちます。埋め込みテーブルは大きいもののルックアップにしか使わないため、有効パラメータ数は総数より小さくなります。
• 12B Unified: エンコーダを持たず、画像パッチと音声波形を軽量な線形層で直接LLMの埋め込み空間に射影します。マルチモーダルのレイテンシを抑え、モデル全体を1パスでファインチューニングできる構成です。
• 26B A4B MoE: 「A」はactive parametersを指し、活性パラメータは3.8B、エキスパートは8 active / 128 total、shared 1です。Google DeepMindは、推論時にパラメータの一部だけを活性化するため、総パラメータ数26Bから想定されるよりも高速に動作し、31B Denseと比べて高速な推論に向くと説明しています。

提供形態と想定環境

Gemma 4は事前学習済みモデルとinstruction-tunedモデルの両方をオープンウェイトで提供します。E2Bのinstruction-tuned版はgoogle/gemma-4-E2B-it(ベースモデルはgoogle/gemma-4-E2B)としてHugging Faceで公開され、pipeline_tagはany-to-anyです。

想定するデプロイ先は、E2B・E4Bがモバイルやエッジデバイス、ラップトップでのローカル実行、12B・26B A4B・31BがコンシューマGPUやワークステーションです。