mlx-communityは、mlx-community/Qwen3.6-35B-A3B-OptiQ-4bitの専門家をREAPで50%枝刈りしたQwen3.6-35B-A3B-OptiQ-4bit-REAP-19BをHugging Faceで公開しました。実行時ピークメモリは親モデルの24.5GBに対し11.6GBで、Capability Scoreは80.03から76.57になっています。
QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーで、MLXはAppleの機械学習研究チームが開発するAppleシリコン向けの配列計算フレームワークです。
何が新しいか
このモデルは各層256個のルーティング専門家のうち128個だけを保持し、保存される専門家バンクを縮小しています。top-8ルーティングは維持しているため、トークンあたりのアクティブ専門家数は8のままです。原文は、これが「小さくなっても遅くならない」理由だと説明しています。
保持した専門家は親モデルの量子化データからビット単位でコピーしており、非量子化・再量子化・統合・再学習は一切行っていません。mlx-optiqはoptiq prune-expertsにより、BF16の親モデルを使わず量子化済みチェックポイント上で直接枝刈りしています。
仕様・数値
| 項目 | 親モデル | 本モデル |
|---|---|---|
| ディスク容量 | 23.0 GB | 13.8 GB(−40%) |
| ピークメモリ | 24.5 GB | 11.6 GB(−53%) |
| パラメータ数 | 35.1B | 18.8B(−47%) |
| Decode | 47.0 | 54.7 |
| Capability Score | 80.03 | 76.57 |
ベンチマーク別の結果は次のとおりです。
| ベンチマーク | 親モデル | 本モデル | 差 |
|---|---|---|---|
| MMLU | 83.7 | 62.3 | −21.4 |
| GSM8K | 87.9 | 90.5 | +2.6 |
| IFEval | 72.6 | 76.9 | +4.3 |
| BFCL-V3 | 92.5 | 91.5 | −1.0 |
| HumanEval | 91.5 | 90.2 | −1.3 |
| HashHop | 52.0 | 48.0 | −4.0 |
MMLUは21.4ポイント低下した一方、GSM8KとIFEvalは親モデルを上回っています。ライセンスはapache-2.0、量子化は4bitです。キャリブレーションにはoptiqの6ドメイン混合を8サンプル使い、MTPサイドカーは含みません。
試し方
mlx-optiqは、Apple Silicon上でLLMの量子化・枝刈り・微調整・提供を行うMLXネイティブのツールキットです。サーバーとして起動する場合は次のコマンドを使います。
pip install mlx-optiq
optiq serve --model mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B
Pythonからはmlx_lmで読み込めます。
from mlx_lm import load, generate
model, tok = load("mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B")
print(generate(model, tok, prompt="Hello", max_tokens=64))
手法の背景
REAPはCerebras Researchの手法で、ICLR 2026論文「REAP the Experts: Why Pruning Prevails for One-Shot MoE Compression」で提案されました。REAPは、各専門家が処理したトークンについて「ルーター重み×専門家出力ノルム」の条件付き平均を算出し、順位の低い専門家を削除します。あわせてルーターも削除後の構成に合わせて切り詰めます。本モデルでは全層で一律に256中128を残す配分を採用しています。
まだコメントはありません。