mlx-communityは、deepseek-ai/DeepSeek-V4.1-Flash-1017をoQ(oMLX v0.7.1)で混合精度量子化したMLXチェックポイントmlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtpをHugging Faceで公開しました。完全なチェックポイントの実効ビット数は4.529 bits/weight、ストレージは402.363 GiB(432.033 GB)です。
MLXはAppleの機械学習研究チームが開発する、Appleシリコン向けの配列計算フレームワークです。
何が新しいか
ベースのDeepSeek-V4.1-Flash-1017は、DeepSeek-V4.1-Flashの小規模アップデートで、原文は推論、コーディング、エージェント、視覚性能の改善を挙げています。552Bバックボーンのマルチモーダル Mixture-of-Expertsモデルで、Causal Encoder-Decoder構成、Compressed Sparse Attention 2(CSA2)、Engram conditional memory、DSpark speculative decodingを採用しています。チェックポイントには言語モデル、Engramテーブル、ビジョンエンコーダー、マルチモーダルアライナー、DSpark MTP重みが含まれます。pipeline_tagはimage-text-to-text、ライセンスは元モデルに従いMITです。
量子化とビット配分
oQ4eはImproved oQe Quantization(jundot/omlx#4385)を使い、すでに予算に収まる元のFP4・FP8投影精度をそのまま維持し、Engramテーブルのみを量子化します。平均はEngramテーブルを除くと4.365 bits/weightです。
| 形式 | 論理重み | 比率 | ストレージ | 実効bits/weight |
|---|---|---|---|---|
| MXFP4, group 32 | 557.171B | 73.004% | 275.669 GiB | 4.25 |
| MXFP8, group 32 | 5.959B | 0.781% | 5.723 GiB | 8.25 |
| BF16 | 3.419B | 0.448% | 6.369 GiB | 16.00 |
| FP32 | 0.042B | 0.006% | 0.158 GiB | 32.00 |
| Engram affine 4-bit, group 32 | 196.614B | 25.762% | 114.444 GiB | 5.00 |
| 合計 | 763.205B | 100% | 402.363 GiB | 4.529 |
コンポーネント別ストレージ
| コンポーネント | 論理重み | ストレージ |
|---|---|---|
| 言語バックボーン | 551.881B | 300.132 GB / 279.520 GiB |
| Engramテーブル | 196.614B | 122.884 GB / 114.444 GiB |
| ビジョンエンコーダー | 0.485B | 0.971 GB / 0.904 GiB |
| MTPヘッド | 14.225B | 8.047 GB / 7.495 GiB |
| 合計 | 763.205B | 432.033 GB / 402.363 GiB |
論理重みの約4分の1をEngramテーブルが占め、MTPヘッドは7.495 GiBです。
まだコメントはありません。