mlx-communityは2026-11-20、mlx-community/DeepSeek-V4.1-Flash-1017-oQ2e-ngram-mtpの混合精度MLXチェックポイントを更新しました。ルーティング対象のエキスパートに改良版のoQe丸めを適用して再量子化し、全体366.143 GiBのサイズと速度を保ったまま量子化誤差を低減しています。
MLXはAppleの機械学習研究チームが開発する、Appleシリコン向けの配列計算フレームワークです。
何が変わったか
再量子化にはoQ(oMLX main d675c0d)の混合精度量子化を使い、Improved oQe Quantization(jundot/omlx#4385)とルーティング対象エキスパートへのoQe丸め改良(jundot/omlx#5292)を適用しています。N-gram(Engram)テーブルは元のFP8精度のままで、それ以外の重みはDeepSeek-V4.1-Flash-1017-oQ2e-mtpと一致します。
oQ2eは層ごとに測定した感度に応じてビットを割り当て、重要度行列(1024 samples x 512 tokens)とスケール・バイアスの重み付き最小二乗による再フィットで各グループを丸めます。
ビット配分とストレージ
| 保存形式 | 論理重み数 | テンソル容量 | 実効bits/weight |
|---|---|---|---|
| Affine 2-bit, group 64 | 543.582B | 158.203 GiB | 2.50 |
| MXFP4, group 32 | 13.590B | 6.724 GiB | 4.25 |
| Affine 8-bit, group 64 | 5.200B | 5.145 GiB | 8.50 |
| MXFP8, group 32 | 0.779B | 0.748 GiB | 8.25 |
| BF16 | 3.399B | 6.332 GiB | 16.00 |
| FP32 | 0.042B | 0.158 GiB | 32.00 |
| Engram MXFP8, group 32 | 196.614B | 188.833 GiB | 8.25 |
| 合計 | 763.205B | 366.143 GiB | 4.121 |
実効平均はEngramテーブルを除くと2.688 bits/weight、チェックポイント全体では4.121 bits/weightです。コンポーネント別では、言語バックボーンが551.881B・168.911 GiB、Engramテーブルが196.614B・188.833 GiB、視覚エンコーダーが0.485B・0.904 GiB、MTPヘッドが14.225B・7.495 GiBで、合計393.143 GB / 366.143 GiBです。EngramテーブルはE4M3の値と32チャネルごとに1つのE8M0スケールで保存しています。
利用条件と試し方
- 旧版を取得済みの場合は再ダウンロードが必要です。
- oMLXはEngramテーブルをメモリではなくSSDから読み出せるため、Engramテーブルはビット予算から外しています。SSDオフロード時の常駐メモリは
DeepSeek-V4.1-Flash-1017-oQ2e-mtpと同じです。 - ライセンスは元モデルに従いMITです。
ベースモデル
ベースのdeepseek-ai/DeepSeek-V4.1-Flash-1017は、推論、コーディング、エージェント動作、視覚処理の性能を改善したDeepSeek-V4.1-Flashの小規模アップデートです。552BバックボーンのマルチモーダルMoEで、Causal Encoder-Decoder、Compressed Sparse Attention 2(CSA2)、Engram条件付きメモリ、DSpark投機的デコーディングを採用しています。配布チェックポイントには言語モデル、Engramテーブル、視覚エンコーダー、マルチモーダルアライナー、DSpark MTPの重みが含まれます。

まだコメントはありません。