mlx-community、Gemma-4-26Bを専門家半減した14B版を公開

mlx-communityは、mlx-community/gemma-4-26B-A4B-it-OptiQ-4bitのルーティング専門家をREAPで50%削減したApple Silicon向けモデルmlx-community/gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14Bを公開しました。ディスク容量は17.5GBから10.4GB、実行時ピークメモリは16.4GBから9.4GBに下がります。

何が新しいか

mlx-optiqは、MLXネイティブで量子化・枝刈り・ファインチューニング・ローカル提供を行うツールキットです。本モデルは各層128個の専門家のうち64個を一様に保持し、top-8ルーティングは維持しています。保存する専門家バンクだけが縮むため、トークンごとのアクティブパラメータ数は変わらず、原文は「小さくなっても遅くならない」と説明しています。保持した専門家は親の量子化チェックポイントからビット単位でコピーしており、量子化解除・再量子化・マージ・再学習は行っていません。ライセンスはapache-2.0、形式は4bitです。

サイズとベンチマーク

項目	親モデル	本モデル	差
ディスク容量	17.5 GB	10.4 GB	−40%
ピークメモリ	16.4 GB	9.4 GB	−42%
パラメータ数	25.8B	14.3B	−45%
MMLU	65.0	38.9	−26.1
GSM8K	93.8	89.1	−4.7
IFEval	73.0	80.8	+7.8
BFCL-V3	91.5	90.0	−1.5
HumanEval	90.2	72.0	−18.2
HashHop	41.0	38.0	−3.0
Capability Score	75.75	68.13	−7.62

原文によると、同じ50%保持でもGemma-4はQwenモデルより劣化が大きく、未枝刈り親モデルとのKLは0.56(Qwenは0.07〜0.13)です。Qwenが256専門家をルーティングするのに対しGemma-4は128である点を挙げています。Qwenでは手続き的能力がほぼ保たれる一方、本モデルはMMLUに加えHumanEvalも下がります。代替として、optiq prune-experts --retain 96で専門家の4分の3を保持するとKLは0.33で、削減幅はその分小さくなります。

試し方

pip install mlx-optiq
optiq serve --model mlx-community/gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B

from mlx_lm import load, generate
model, tok = load("mlx-community/gemma-4-26B-A4B-it-OptiQ-4bit-REAP-14B")
print(generate(model, tok, prompt="Hello", max_tokens=64))

MTPサイドカーは付属しません。

手法

REAPはCerebras Researchの手法(ICLR 2026)で、較正データ上のルーター重み×専門家出力ノルムの条件付き平均で専門家を順位付けし、下位を削除してルーターも合わせて切り詰めます。本モデルはルーターが重みを再正規化するため、選択頻度で重み付けしています。較正にはoptiqの6ドメイン混合を8サンプル使いました。OptiQはoptiq prune-expertsでBF16親モデルを使わず、量子化済みチェックポイント上で直接この削減を実行します。