Unsloth、1兆パラメータのMistral Large 4を公開 1-bit版は233GB

Unslothは、Mistral AIの1兆パラメータMoEモデル「Mistral Large 4」をunsloth/Mistral-Large-4-1T-A52B-FP8として公開しました。最小の1-bit版は233GBで、256GB RAMの端末で動かせます。

Unslothは、AIモデルの実行と学習のためのツール群で、デスクトップアプリ、ウェブ画面、コードから利用できます。

何が新しいか

Mistral Large 4は、テキストと画像を入力してテキストを出力するネイティブ・マルチモーダルのMixture-of-Expertsモデルです。活性パラメータはトークンあたり49B(埋め込み・出力層を含めて52B)で、コンテキスト長は1Mです。指示追従、推論、コーディング、エージェント向けワークフローを1つの重みにまとめ、ネイティブ関数呼び出し、JSON出力、strict JSON schemaの強制、画像・文書の分析に対応します。Mistralの説明では、欧州連合の全公式言語を含む160以上の言語に対応し、ビジュアルグラウンディングでクローズドなフロンティアモデルを上回るとしています。

Unsloth版には、ビジョンプロジェクター(mmproj)とDSparkの投機的デコーディング用ドラフトが含まれます。

構成と量子化別のメモリ要件

MoEは128のルーティング専門家(トークンあたり4つが活性)と1つの共有専門家で構成されます。

版	ファイルサイズ	必要RAM
1-bit	233 GB	256GB
2-bit	302–378 GB	384–512GB
Q8	1.1 TB	1.2TB以上

Mistral AIは別途、メモリ使用量を抑えたNVFP4チェックポイントも提供しています。対象はBlackwell GPUで、vLLMとSGLangに対応します。

試し方

実行にはUnslothのllama.cppビルドかUnsloth Desktop appを使います。

• 投機的デコーディング: -md dspark-Mistral-Large-4-1T-A52B-Q8_0.gguf --spec-type draft-dspark --spec-draft-n-max 3 を追加します。平均受理長は約2.5で、バッチサイズ1のデコード速度は約2倍です。
• 画像入力: --mmproj mmproj-BF16.gguf(またはmmproj-F16.gguf)を追加します。
• 推奨設定: reasoning_effortはlow / medium / high(既定値はhigh)。複雑なプロンプトやエージェント用途はhigh、素早いチャットはlow、日常用途はmediumです。サンプリングはすべての設定でtemperature=1.0、top_p=0.95です。

ライセンス

ライセンスはMITを改変した「Mistral Ecosystem Open-Weight License」で、商用・非商用の両方で利用できます。ただしModel-as-a-Service事業を運営する場合は、Mistralとの別途の商用ライセンスが必要です。