mlx-communityは2026-11-20、Hugging Face上のmlx-community/DeepSeek-V4.1-Flash-1017-oQ2.5e-ngram-mtpを更新し、ルーティング対象のエキスパートに改良版oQe丸めを適用して再量子化しました。サイズと速度を変えずに量子化誤差を下げており、完全チェックポイントは422.587 GB(393.564 GiB)、Engramテーブルを除いた実効平均は3.104 bits/weightです。
MLXはAppleの機械学習研究チームが開発する、Appleシリコン向けを想定した配列計算フレームワークです。
何が変わったか
量子化には[oQ](oMLX main d675c0d)の混合精度量子化を使い、Improved oQe Quantization(jundot/omlx#4385)に加え、ルーティング対象エキスパートへのoQe丸め改良(jundot/omlx#5292)を適用しています。N-gram(Engram)テーブルは元のFP8精度を維持し、それ以外の重みはDeepSeek-V4.1-Flash-1017-oQ2.5e-mtpと同一です。このため、EngramをSSDへオフロードした場合の常駐メモリは-oQ2.5e-mtpと同じです。
oQ2.5eは計測した層ごとの感度に応じてビットを割り当て、重要度行列(1024 samples x 512 tokens)と、スケール・バイアスの重み付き最小二乗による再フィットで各グループを丸めます。EngramテーブルはE4M3値に32チャネルごと1つのE8M0スケールを持つFP8形式で、oMLXがメモリではなくSSDから読み出せるため、ビット予算から除外しています。
ビット配分とストレージ
| 保存形式 | 論理重み数 | 割合 | 容量 | 実効bits/weight |
|---|---|---|---|---|
| Affine 2-bit, group 64 | 308.030B | 40.360% | 89.648 GiB | 2.50 |
| Affine 3-bit, group 64 | 235.552B | 30.864% | 95.977 GiB | 3.50 |
| MXFP4, group 32 | 13.590B | 1.781% | 6.724 GiB | 4.25 |
| Affine 8-bit, group 64 | 5.200B | 0.681% | 5.145 GiB | 8.50 |
| MXFP8, group 32 | 0.779B | 0.102% | 0.748 GiB | 8.25 |
| BF16 | 3.399B | 0.445% | 6.332 GiB | 16.00 |
| FP32 | 0.042B | 0.006% | 0.158 GiB | 32.00 |
| Engram MXFP8, group 32 | 196.614B | 25.762% | 188.833 GiB | 8.25 |
| 合計 | 763.205B | 100% | 393.564 GiB | 4.430 |
| コンポーネント | 論理重み数 | 容量 |
|---|---|---|
| 言語バックボーン | 551.881B | 210.811 GB / 196.333 GiB |
| Engramテーブル | 196.614B | 202.758 GB / 188.833 GiB |
| 視覚エンコーダー | 0.485B | 0.971 GB / 0.904 GiB |
| MTPヘッド | 14.225B | 8.047 GB / 7.495 GiB |
| 合計 | 763.205B | 422.587 GB / 393.564 GiB |
利用方法
旧版を取得済みの場合は、更新後のチェックポイントを再ダウンロードする必要があります。oMLXではEngramテーブルをメモリに常駐させず、SSDから読み出して実行できます。ライセンスはベースモデルに従いMITです。
ベースモデル
ベースのdeepseek-ai/DeepSeek-V4.1-Flash-1017は、推論、コーディング、エージェント動作、視覚処理の性能を改善したDeepSeek-V4.1-Flashのマイナー更新版です。552Bのバックボーンを持つマルチモーダルMoEで、Causal Encoder-Decoder構成、Compressed Sparse Attention 2(CSA2)、Engram条件付きメモリ、DSpark投機的デコーディングを採用しています。配布チェックポイントには言語モデル、Engramテーブル、視覚エンコーダー、マルチモーダルアライナー、DSpark MTP重みが含まれます。

まだコメントはありません。