mlx-community、Qwen3.6-35B-A3BのOptiQ 4bit混合精度版を公開

スペック

ライセンスApache 2.0
重みの公開MLX量子化モデルとして公開
配布形式・量子化4-bit混合精度MLX量子化。8-bitと4-bitのレイヤーを含む。`mtp.safetensors`を同梱

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

mlx-communityは、Qwen/Qwen3.6-35B-A3Bを基にしたApple Silicon向けの4ビット混合精度MLX量子化モデルmlx-community/Qwen3.6-35B-A3B-OptiQ-4bitを公開しています。6指標のCapability Scoreは80.03で、標準の一様4-bit量子化(78.75)を1.28ポイント上回ります。ライセンスはベースモデルを継承したApache 2.0です。

MLXはAppleの機械学習研究チームが開発する配列計算フレームワークで、Appleシリコン向けの機械学習を想定しています。

何が新しいか

量子化にはMLXネイティブのツールキットmlx-optiqを使っています。prose・reasoning・code・agent・tool-call・制約付き指示の6ドメインからなるキャリブレーションデータ(40サンプル × 6ドメイン)でKLダイバージェンスによる感度解析を行い、感度の高いレイヤーを8-bit、頑健なレイヤーを4-bitに割り当てます。感度の参照にはbf16を使い、bf16が載らない場合は一様4-bitにフォールバックします。「4-bit」の表記はllama.cppのQ4_K_Mと同じく主たる精度を指し、加重平均ではありません。

項目 値
8-bitレイヤー 392
4-bitレイヤー 118
量子化レイヤー総数 510
グループサイズ 64
ディスクサイズ 22.1 GB(一様4-bitは19.0 GB)

ベンチマーク

指標(条件) OptiQ 一様4-bit 差
MMLU(5-shot、1000サンプル) 83.7% 84.6% -0.9
GSM8K(1000サンプル、3-shot CoT) 87.9% 89.4% -1.5
IFEval(全セット、strict) 72.6% 73.0% -0.4
BFCL-V3 simple(200 calls) 92.5% 90.0% +2.5
HumanEval(164問、pass@1) 91.5% 91.5% +0.0
HashHop(長コンテキスト検索) 52.0% 44.0% +8.0
Capability Score(6指標平均) 80.03 78.75 +1.28

原文は一様4-bitを全ベンチマークで上回るとしていますが、表の数値ではMMLU、GSM8K、IFEvalは一様4-bitが上で、平均スコアの差は主にHashHopとBFCLによるものです。一様4-bit参照に対するKLは平均0.2231、p95で0.9779です。

試し方

mlx-lmで通常どおり読み込めます。

pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit")
response = generate(model, tokenizer, prompt="Explain quantum computing in simple terms.", max_tokens=200)

pip install mlx-optiqを入れると、混合精度KVキャッシュでのサービング、感度認識型LoRA微調整、OpenAI・Anthropic互換の推論サーバー、アダプタのホットスワップ、エージェント向けのサンドボックスPython実行を使えます。

同梱のmtp.safetensors(4-bit射影、BF16 norm)によるMTP推測デコーディングは次のコマンドで有効化し、デコードが約1.4倍になります。深度2での受諾率は約70%です。

optiq serve --model mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit --mtp

optiq serve以外のランタイムでMTPヘッドを使う場合、7つのRMSNorm重み(mtp.*norm*)はゼロ中心のため、読み込み時に1.0を加える必要があります。

独自モデルの量子化

任意のHugging Faceモデルに同じ手法を適用できます。

pip install mlx-optiq
optiq convert --target-bpw 5.0 --candidate-bits 4,8
optiq lab

optiq labはチャット、比較、量子化、微調整を行うローカル作業環境を起動します。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内