vLLM Teamは2026年10月29日、Mistralの総パラメータ1兆・アクティブ490億(埋め込み・出力層込みで520億)のMoEモデル「Mistral Large 4」をvLLMでDay-0サポートしたと発表しました。FP8とNVFP4のチェックポイントに対応し、TP8でDCPを使うとKV容量はNVFP4で3.60Mから28.76Mトークンに増えます。
vLLMは大規模言語モデルの推論とAPI配信のためのライブラリで、OpenAI互換APIからモデルを利用できます。
何が新しいか
Mistral Large 4はネイティブマルチモーダルのMoEモデルで、MLAとDSA top-k indexerによる疎な注意機構、cross-layer KV sharing、NoPE、SSMax、LeRoPEを備えます。DSpark speculative decodingのdrafterとPixtral vision encoderをチェックポイントに内蔵しています。構成は72層のMoE、128ルーテッドエキスパート(top-4)+共有エキスパート1、隠れサイズ6144で、DSAはクエリ当たり2048キーを選択します。
vLLM側は疎なMLA、長文脈向けのDCP/PCP、DSpark、NIXLによるPrefill/Decode分離、HiSparseのホストメモリKVオフロード(cross-layer KV sharing対応)、AMD ROCm対応を実装しました。モデルはmodel runner V2(MRV2)上でのみ動作し、torch.compileの代わりにbreakable CUDA graphsを使います。部品は新しいvllm/models/mistral/パッケージにまとめています。
性能の数値
| 項目 | 数値 |
|---|---|
| DCP8のKV容量(FP8・TP8) | 2.38M → 18.88Mトークン |
| DCP8のKV容量(NVFP4・TP8) | 3.60M → 28.76Mトークン |
| NVFP4のFP8比デコード速度(TP8) | 1.08–1.19倍(DSpark使用時1.18–1.22倍) |
| NVFP4のFP8比KVキャッシュ容量 | 約1.5倍 |
| DCP最適化後の出力スループット(TP8 DCP8 FP8、60k入力/1k出力、c64) | 139.1 → 204.0 output tok/s(+47%) |
| Breakable CUDA graphsのEager比 | 約6倍 |
| DSparkの受理トークン数/出力スループット(TP8) | 約2.9トークン/ステップ、約2倍 |
| PCP+DCP prefillのTTFT短縮 | 最大1.6倍 |
原文によると、NVFP4はマルチモーダル、長文脈、エージェント型コーディング、業務自動化、サイバーの評価で全タスクがFP8との差2.1ポイント以内、平均差は−0.3ポイントです。一方、DCP8はTP8よりトークン当たりデコードが約16–28%遅く(8x GB300、NVFP4)、KV容量が制約になる超長文脈や多数の長時間セッションで有利になるとしています。
試し方・要件
vLLM Teamはvllm/vllm-openai:mistral-large-4 Dockerイメージで提供しており、mistral-common 1.13も同梱しています。
docker pull vllm/vllm-openai:mistral-large-4
FP8を8 GPUで実行:
vllm serve mistralai/Mistral-Large-4-1T-A52B --tensor-parallel-size 8 --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}' --tool-call-parser mistral --enable-auto-tool-choice --reasoning-parser mistral
NVFP4をBlackwellの4 GPUで実行(8 GPUでは--tensor-parallel-size 8):
vllm serve mistralai/Mistral-Large-4-1T-A52B-NVFP4 --tensor-parallel-size 4 --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}' --tool-call-parser mistral --enable-auto-tool-choice --reasoning-parser mistral
- 長文脈でDCPを使う場合は
--decode-context-parallel-size 8を追加します。デフォルトのFP8 KVキャッシュ(fp8_ds_mla)が必要です。 - 画像入力は
--limit-mm-per-prompt '{"image": N}'でプロンプト当たり最大N枚まで許可できます。 - AMDはAMD Instinct MI350 Series GPUとROCmでDay-0対応し、DSpark、画像入力、MXFP4エキスパートでのexpert parallelismを含みます。
まだコメントはありません。