mlx-communityは、MiniMaxAIのMiniMax-M3.1-Flash(総パラメータ約428B、活性23B)をoMLX v0.7.3.dev1のoQで混合精度量子化したMLXチェックポイントmlx-community/MiniMax-M3.1-Flash-oQ3e-mtpをHugging Faceで公開しました。言語モデルとビジョンエンコーダーの実効平均は3.631 bits/weightで、総容量は196.152 GB / 182.681 GiBです。
MLXはAppleの機械学習研究チームが開発する、Appleシリコン向けの配列計算フレームワークです。
何が新しいか
ベースのMiniMax-M3.1-Flashは、コーディング、エージェント型ワークフロー、コンピューター操作、サイバーセキュリティ向けのネイティブ・マルチモーダルMoEモデルです。テキスト・画像・動画を入力でき、コンテキストは最大1M tokens、モデル全体でMiniMax Sparse Attentionを使います。今回のチェックポイントは言語モデル、ビジョンエンコーダーに加え、dspark/に投機的デコーディング用のDSpark draftを同梱しています。oMLX Lightning MTPがこのdraftを使います。
量子化の構成
oQ3eは、ルーティングされたエキスパートをNVFP4からaffine 3-bitへ再量子化しています。共有エキスパート、疎アテンションのインデクサー、アテンション射影の約3分の1はMXFP8を維持し、残りの射影・埋め込み・語彙ヘッドはaffine 3〜8-bitで保存します。ルーターとDSpark draftは元の精度のままです。DSpark draftを含めた平均は3.657 bits/weightです。
| 保存形式 | 論理ウェイト | 割合 | 容量 | 実効bits/weight |
|---|---|---|---|---|
| Affine 3-bit, group 64 | 413.311B | 96.782% | 168.405 GiB | 3.50 |
| Affine 4-bit, group 64 | 2.378B | 0.557% | 1.246 GiB | 4.50 |
| Affine 5-bit, group 64 | 2.460B | 0.576% | 1.575 GiB | 5.50 |
| Affine 6-bit, group 64 | 0.226B | 0.053% | 0.171 GiB | 6.50 |
| Affine 8-bit, group 64 | 2.458B | 0.576% | 2.433 GiB | 8.50 |
| MXFP8, group 32 | 5.496B | 1.287% | 5.278 GiB | 8.25 |
| BF16 | 0.678B | 0.159% | 1.262 GiB | 16.00 |
| FP32 | 0.045B | 0.010% | 0.167 GiB | 32.00 |
| 合計 | 427.052B | 100% | 180.537 GiB | 3.631 |
ストレージ内訳
| コンポーネント | 論理ウェイト | 容量 |
|---|---|---|
| 言語モデル | 426.375B | 192.497 GB / 179.277 GiB |
| ビジョン | 0.677B | 1.354 GB / 1.261 GiB |
| DSpark draft (MTP) | 2.011B | 2.302 GB / 2.144 GiB |
| 合計 | 429.063B | 196.152 GB / 182.681 GiB |
利用条件
ライセンスはソースモデルに従うMiniMax Community Licenseです(LICENSE参照)。商用利用には追加条件があり、「Built with MiniMax M3.1-Flash」の表示とMiniMaxからの事前の書面許可が必要です。
まだコメントはありません。