mlx-communityは、Qwen/Qwen3.6-35B-A3Bを基にしたApple Silicon向けの4ビット混合精度MLX量子化モデルmlx-community/Qwen3.6-35B-A3B-OptiQ-4bitを公開しています。6指標のCapability Scoreは80.03で、標準の一様4-bit量子化(78.75)を1.28ポイント上回ります。ライセンスはベースモデルを継承したApache 2.0です。
MLXはAppleの機械学習研究チームが開発する配列計算フレームワークで、Appleシリコン向けの機械学習を想定しています。
何が新しいか
量子化にはMLXネイティブのツールキットmlx-optiqを使っています。prose・reasoning・code・agent・tool-call・制約付き指示の6ドメインからなるキャリブレーションデータ(40サンプル × 6ドメイン)でKLダイバージェンスによる感度解析を行い、感度の高いレイヤーを8-bit、頑健なレイヤーを4-bitに割り当てます。感度の参照にはbf16を使い、bf16が載らない場合は一様4-bitにフォールバックします。「4-bit」の表記はllama.cppのQ4_K_Mと同じく主たる精度を指し、加重平均ではありません。
| 項目 | 値 |
|---|---|
| 8-bitレイヤー | 392 |
| 4-bitレイヤー | 118 |
| 量子化レイヤー総数 | 510 |
| グループサイズ | 64 |
| ディスクサイズ | 22.1 GB(一様4-bitは19.0 GB) |
ベンチマーク
| 指標(条件) | OptiQ | 一様4-bit | 差 |
|---|---|---|---|
| MMLU(5-shot、1000サンプル) | 83.7% | 84.6% | -0.9 |
| GSM8K(1000サンプル、3-shot CoT) | 87.9% | 89.4% | -1.5 |
| IFEval(全セット、strict) | 72.6% | 73.0% | -0.4 |
| BFCL-V3 simple(200 calls) | 92.5% | 90.0% | +2.5 |
| HumanEval(164問、pass@1) | 91.5% | 91.5% | +0.0 |
| HashHop(長コンテキスト検索) | 52.0% | 44.0% | +8.0 |
| Capability Score(6指標平均) | 80.03 | 78.75 | +1.28 |
原文は一様4-bitを全ベンチマークで上回るとしていますが、表の数値ではMMLU、GSM8K、IFEvalは一様4-bitが上で、平均スコアの差は主にHashHopとBFCLによるものです。一様4-bit参照に対するKLは平均0.2231、p95で0.9779です。
試し方
mlx-lmで通常どおり読み込めます。
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit")
response = generate(model, tokenizer, prompt="Explain quantum computing in simple terms.", max_tokens=200)
pip install mlx-optiqを入れると、混合精度KVキャッシュでのサービング、感度認識型LoRA微調整、OpenAI・Anthropic互換の推論サーバー、アダプタのホットスワップ、エージェント向けのサンドボックスPython実行を使えます。
同梱のmtp.safetensors(4-bit射影、BF16 norm)によるMTP推測デコーディングは次のコマンドで有効化し、デコードが約1.4倍になります。深度2での受諾率は約70%です。
optiq serve --model mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit --mtp
optiq serve以外のランタイムでMTPヘッドを使う場合、7つのRMSNorm重み(mtp.*norm*)はゼロ中心のため、読み込み時に1.0を加える必要があります。
独自モデルの量子化
任意のHugging Faceモデルに同じ手法を適用できます。
pip install mlx-optiq
optiq convert --target-bpw 5.0 --candidate-bits 4,8
optiq lab
optiq labはチャット、比較、量子化、微調整を行うローカル作業環境を起動します。

まだコメントはありません。