mlx-community、DeepSeek-V4.1-Flash-1017のoQ2.5e版を再量子化

スペック

ライセンスMIT
重みの公開オープンウェイト
配布形式・量子化混合精度MLX、oQ2.5e(EngramテーブルはFP8)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

mlx-communityは2026-11-20、Hugging Face上のmlx-community/DeepSeek-V4.1-Flash-1017-oQ2.5e-ngram-mtpを更新し、ルーティング対象のエキスパートに改良版oQe丸めを適用して再量子化しました。サイズと速度を変えずに量子化誤差を下げており、完全チェックポイントは422.587 GB(393.564 GiB)、Engramテーブルを除いた実効平均は3.104 bits/weightです。

MLXはAppleの機械学習研究チームが開発する、Appleシリコン向けを想定した配列計算フレームワークです。

何が変わったか

量子化には[oQ](oMLX main d675c0d)の混合精度量子化を使い、Improved oQe Quantization(jundot/omlx#4385)に加え、ルーティング対象エキスパートへのoQe丸め改良(jundot/omlx#5292)を適用しています。N-gram(Engram)テーブルは元のFP8精度を維持し、それ以外の重みはDeepSeek-V4.1-Flash-1017-oQ2.5e-mtpと同一です。このため、EngramをSSDへオフロードした場合の常駐メモリは-oQ2.5e-mtpと同じです。

oQ2.5eは計測した層ごとの感度に応じてビットを割り当て、重要度行列(1024 samples x 512 tokens)と、スケール・バイアスの重み付き最小二乗による再フィットで各グループを丸めます。EngramテーブルはE4M3値に32チャネルごと1つのE8M0スケールを持つFP8形式で、oMLXがメモリではなくSSDから読み出せるため、ビット予算から除外しています。

ビット配分とストレージ

保存形式 論理重み数 割合 容量 実効bits/weight
Affine 2-bit, group 64 308.030B 40.360% 89.648 GiB 2.50
Affine 3-bit, group 64 235.552B 30.864% 95.977 GiB 3.50
MXFP4, group 32 13.590B 1.781% 6.724 GiB 4.25
Affine 8-bit, group 64 5.200B 0.681% 5.145 GiB 8.50
MXFP8, group 32 0.779B 0.102% 0.748 GiB 8.25
BF16 3.399B 0.445% 6.332 GiB 16.00
FP32 0.042B 0.006% 0.158 GiB 32.00
Engram MXFP8, group 32 196.614B 25.762% 188.833 GiB 8.25
合計 763.205B 100% 393.564 GiB 4.430
コンポーネント 論理重み数 容量
言語バックボーン 551.881B 210.811 GB / 196.333 GiB
Engramテーブル 196.614B 202.758 GB / 188.833 GiB
視覚エンコーダー 0.485B 0.971 GB / 0.904 GiB
MTPヘッド 14.225B 8.047 GB / 7.495 GiB
合計 763.205B 422.587 GB / 393.564 GiB

利用方法

旧版を取得済みの場合は、更新後のチェックポイントを再ダウンロードする必要があります。oMLXではEngramテーブルをメモリに常駐させず、SSDから読み出して実行できます。ライセンスはベースモデルに従いMITです。

ベースモデル

ベースのdeepseek-ai/DeepSeek-V4.1-Flash-1017は、推論、コーディング、エージェント動作、視覚処理の性能を改善したDeepSeek-V4.1-Flashのマイナー更新版です。552Bのバックボーンを持つマルチモーダルMoEで、Causal Encoder-Decoder構成、Compressed Sparse Attention 2(CSA2)、Engram条件付きメモリ、DSpark投機的デコーディングを採用しています。配布チェックポイントには言語モデル、Engramテーブル、視覚エンコーダー、マルチモーダルアライナー、DSpark MTP重みが含まれます。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内