UnslothはMistral AIのMistral Large 4（総パラメータ約1T、活性約52B）をNVFP4量子化したチェックポイント unsloth/Mistral-Large-4-1T-A52B-NVFP4 をHugging Faceで公開しました。対象はBlackwell GPUで、推論エンジンはvLLMとSGLangに対応します。
Unslothは、AIモデルの実行と学習のためのツール群で、量子化形式への出力などに対応します。NVFP4はNVIDIAがBlackwell向けに導入した低精度の浮動小数点形式です。
何が新しいか
Mistral Large 4はテキストと画像を入力しテキストを出力するネイティブマルチモーダルのMoEモデルです。原文は、NVFP4版について「メモリ使用量が小さく、推論が速く、性能は同じ」と説明しています。ベースモデルは mistralai/Mistral-Large-4-1T-A52B で、Mistral APIでは mistral-large-4 として提供されています。Unslothは、GGUF版にvision projector（mmproj）とDSpark投機的デコーディング用ドラフトも同梱するとしています。
アーキテクチャ
活性パラメータはトークンあたり49B（埋め込み・出力層を含めて52B）、コンテキスト長は1Mです。
| 項目 | 値 |
|---|---|
| ルーティング専門家数 | 128 |
| トークンあたりの選択専門家数 | 4 |
| 共有専門家数 | 1 |
| 対応言語 | 160以上 |
| Reasoning effort | low / medium / high（既定はhigh） |
元モデルは指示追従、推論、コーディング、エージェントワークフロー、画像の視覚的グラウンディングを1つの重みで扱います。Mistral AIはこのモデルを3,800基のNVIDIA Grace Blackwell GPUでスクラッチから学習しました。
試し方・要件
GGUF版の実行には、Unslothのllama.cppビルドかUnsloth Desktop appを使います。量子化ごとの必要メモリは次のとおりです。
| 量子化 | サイズ | 想定メモリ |
|---|---|---|
| 1-bit | 233 GB | 256GB RAM |
| 2-bit | 302-378 GB | 384-512GB |
| Q8 | 1.1 TB | 1.2TB以上 |
- 投機的デコーディング:
-md dspark-Mistral-Large-4-1T-A52B-Q8_0.gguf --spec-type draft-dspark --spec-draft-n-max 3を追加します。原文によると、平均受理長は約2.5で、バッチサイズ1でデコード速度が約2倍になります。 - 画像入力:
--mmproj mmproj-BF16.gguf（またはmmproj-F16.gguf）を追加します。 - サンプリング: どのreasoning effortでも
temperature=1.0、top_p=0.95を推奨しています。 - 推論負荷: 複雑なプロンプトやエージェント用途には
reasoning_effort="high"、高速チャットにはlow、日常用途にはmediumを使います。
ライセンス
Mistral AIは本モデルをMistral Ecosystem Open-Weight Licenseで公開しています。MITライセンスの改変版で、商用・非商用の両方で利用できます。ただしModel-as-a-Service事業を運営する場合は、Mistralとの別途商用ライセンスが必要です。
まだコメントはありません。