mlx-community、DeepSeek-V4.1-Flash-1017のoQ2e版を再量子化

スペック

ライセンスMIT
重みの公開混合精度MLXチェックポイント
配布形式・量子化MLX, oQ2e, Engram MXFP8

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

mlx-communityは2026-11-20、mlx-community/DeepSeek-V4.1-Flash-1017-oQ2e-ngram-mtpの混合精度MLXチェックポイントを更新しました。ルーティング対象のエキスパートに改良版のoQe丸めを適用して再量子化し、全体366.143 GiBのサイズと速度を保ったまま量子化誤差を低減しています。

MLXはAppleの機械学習研究チームが開発する、Appleシリコン向けの配列計算フレームワークです。

何が変わったか

再量子化にはoQ(oMLX main d675c0d)の混合精度量子化を使い、Improved oQe Quantization(jundot/omlx#4385)とルーティング対象エキスパートへのoQe丸め改良(jundot/omlx#5292)を適用しています。N-gram(Engram)テーブルは元のFP8精度のままで、それ以外の重みはDeepSeek-V4.1-Flash-1017-oQ2e-mtpと一致します。

oQ2eは層ごとに測定した感度に応じてビットを割り当て、重要度行列(1024 samples x 512 tokens)とスケール・バイアスの重み付き最小二乗による再フィットで各グループを丸めます。

ビット配分とストレージ

保存形式 論理重み数 テンソル容量 実効bits/weight
Affine 2-bit, group 64 543.582B 158.203 GiB 2.50
MXFP4, group 32 13.590B 6.724 GiB 4.25
Affine 8-bit, group 64 5.200B 5.145 GiB 8.50
MXFP8, group 32 0.779B 0.748 GiB 8.25
BF16 3.399B 6.332 GiB 16.00
FP32 0.042B 0.158 GiB 32.00
Engram MXFP8, group 32 196.614B 188.833 GiB 8.25
合計 763.205B 366.143 GiB 4.121

実効平均はEngramテーブルを除くと2.688 bits/weight、チェックポイント全体では4.121 bits/weightです。コンポーネント別では、言語バックボーンが551.881B・168.911 GiB、Engramテーブルが196.614B・188.833 GiB、視覚エンコーダーが0.485B・0.904 GiB、MTPヘッドが14.225B・7.495 GiBで、合計393.143 GB / 366.143 GiBです。EngramテーブルはE4M3の値と32チャネルごとに1つのE8M0スケールで保存しています。

利用条件と試し方

  • 旧版を取得済みの場合は再ダウンロードが必要です。
  • oMLXはEngramテーブルをメモリではなくSSDから読み出せるため、Engramテーブルはビット予算から外しています。SSDオフロード時の常駐メモリはDeepSeek-V4.1-Flash-1017-oQ2e-mtpと同じです。
  • ライセンスは元モデルに従いMITです。

ベースモデル

ベースのdeepseek-ai/DeepSeek-V4.1-Flash-1017は、推論、コーディング、エージェント動作、視覚処理の性能を改善したDeepSeek-V4.1-Flashの小規模アップデートです。552BバックボーンのマルチモーダルMoEで、Causal Encoder-Decoder、Compressed Sparse Attention 2(CSA2)、Engram条件付きメモリ、DSpark投機的デコーディングを採用しています。配布チェックポイントには言語モデル、Engramテーブル、視覚エンコーダー、マルチモーダルアライナー、DSpark MTPの重みが含まれます。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内