mlx-community、Qwen3.8-27B-OBLITERATEDのOptiQ 4bit版を21GBで公開

mlx-communityは、OBLITERATUS/Qwen3.8-27B-OBLITERATEDをOptiQ混合精度で量子化したMLXモデルmlx-community/Qwen3.8-27B-OBLITERATED-OptiQ-4bitをHugging Faceで公開しています。ディスク容量は21 GBで、MTP推測ヘッドとbf16の視覚タワーを保持しています。

MLXはAppleの機械学習研究チームが開発する、Appleシリコン向けの配列計算フレームワークです。

何が新しいか

ベースはQwen3.8ファミリーの視覚言語モデル(27B)で、MTP推測ヘッドを同梱しています。量子化はmlx-optiq(Apple Silicon上でLLMを量子化・ファインチューニング・サービングするMLXネイティブのツールキット)で行っています。ビット割り当てはmlx-community/Qwen3.8-27B-OptiQ-4bitのレシピを流用しています。原文によるとアーキテクチャが同一のため、レイヤーごとの感度ランキングをそのまま適用でき、モデル単位のスイープは不要です。

チャットテンプレートは画像入力とツール呼び出しを含むQwen3.8のフル版です。ベースモデルはテキスト専用テンプレートを同梱しており、このリポジトリも18 Oct 2026まではそれを使っていました。

量子化の構成

項目	内容
方式	OptiQ混合精度、レイヤーごとの4/8bit
4bitコンポーネント	237
8bitコンポーネント	261
グループサイズ	64
MTP	optiq/mtp.safetensors
視覚タワー	bf16、optiq/optiq_vision.safetensors

「4bit」はllama.cppの混合量子化の命名にならったファミリー名で、重みの加重平均ビット数ではありません。

試し方

mlx-optiqをインストールします。

pip install "mlx-optiq>=0.4.27"

Qwen3.8のアーキテクチャとMTP・視覚のサイドカーはOptiQ経由で登録されるため、読み込み前にimport optiqを一度実行し、mlx_lmのloadとgenerateを使います。原文の例ではgenerate(model, tok, prompt=prompt, max_tokens=400)で生成しています。推論モデルのため、原文はトークン予算を多めに取るよう求めています。

画像入力と、混合精度KVキャッシュ付きのOpenAI・Anthropic互換エンドポイントを使う場合は次を実行します。

optiq serve --model mlx-community/Qwen3.8-27B-OBLITERATED-OptiQ-4bit

LM Studioでの注意

LM Studioのダウンローダーはoptiq/フォルダーを平坦化します。mtp.safetensorsとoptiq_vision.safetensorsをoptiq/に戻さないと、視覚タワーが見つかりません。