mlx-community、176BのQwen3.8-Flash-Nextを2bit化しMacで4.6GB動作

スペック

総パラメータ176 billion
活性パラメータ6B active per token
コンテキスト長262,144 tokens
ライセンスother
重みの公開MLX量子化モデルの重みを公開
配布形式・量子化2-bit routed experts; 4-bit attention, DeltaNet, shared expert, embeddings, LM head and n-gram table; 8-bit hyper-connections; bf16 router

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

mlx-communityは、176BパラメータのQwen/Qwen3.8-Flash-Nextを2-bit混合精度でMLX向けに量子化したmlx-community/Qwen3.8-Flash-Next-OptiQ-2bitを公開しました。ディスク上は81 GBで、生成中のピークメモリは約4.6 GBに収まり、M3 Maxでのデコード速度は約3.8 tok/sです。

QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーで、MLXはAppleの機械学習研究チームが開発するAppleシリコン向けの配列計算フレームワークです。

何が新しいか

量子化にはmlx-optiqを使っています。Attention、ルーター、共有エキスパート、ハイパーコネクションはメモリに常駐させ、512個のルーティングエキスパートと51Bパラメータのn-gram埋め込みはSSDから少しずつ読み込みます。これにより、bf16では約350 GBになる重みを、16 GBのマシンに収まるフットプリントで動かします。

ベースモデルはGated DeltaNetとQwen Sparse Attentionを組み合わせたハイブリッド構成(48層、512エキスパート、1トークンあたりルーティング10個+共有1個が活性)で、さらに層2で参照するn-gram埋め込み(bigramとtrigramの2,000万エントリーのテーブル)を持ちます。Transformer部分は125B(活性6B)、n-gramテーブルが51Bです。1トークンあたりテーブルから読むのは16行です。

仕様・数値

項目 値
ビット幅 ルーティングエキスパート2-bit、attention・DeltaNet・共有エキスパート・埋め込み・LM head・n-gramテーブル4-bit、ハイパーコネクション8-bit、ルーターbf16
ディスク容量 81 GB(bf16時 約350 GB)
生成中ピークメモリ 約4.6 GB
デコード速度 約3.8 tok/s(M3 Max、SSD律速)
コンテキスト長 262,144 tokens

動作例として、M3 Max上で単一HTMLのFlappy Birdを書かせたところ、canvas描画、重力と羽ばたきの物理、パイプ生成、スコア、再起動付きゲームオーバー画面を含むコードを2,310トークン、10分で出力しました。成果物はリポジトリ内のflappy_bird.htmlとしてブラウザーで開けます。

試し方・要件

Qwen3.8-Flash-Nextは標準のmlx-lmが対応していないアーキテクチャのため、mlx-optiq 0.5.14以降が必要です。

pip install "mlx-optiq>=0.5.14"
optiq serve --model mlx-community/Qwen3.8-Flash-Next-OptiQ-2bit

optiq serveはRAMに収まらないMoE量子化モデルでSSDストリーミングを自動で有効にし、--stream-expertsで強制もできます。提供されるエンドポイントはOpenAIおよびAnthropic互換で、プロンプトキャッシュとツール呼び出しの修復に対応します。各トークンで層ごとに10個のエキスパートとテーブル16行をディスクから読むため、デコード速度はRAMよりSSDの読み出し性能に左右されます。

制約

公開元はこれを極端な量子化と位置づけ、ルーティングエキスパートの2-bitは損失が大きいため、精度が重要な用途では元の重みか高ビット量子化を使うよう求めています。SSDからのデコードではベンチマークに数日かかるため、Capability Scoreは公開していません。マルチトークン予測ヘッドは含まれません。ビジョンタワーはbf16で同梱していますが、画像入力は未テストのためtext-onlyとして扱います。ライセンスはotherです。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内