vLLMは2026年11月4日、Moonshot AIのオープンウェイトモデル「Kimi K3.1 Pro」(総パラメータ2.8T、活性104B、コンテキスト長1M)をリリース初日からサポートしました。8×GB300でのトークン分割プリフィルは、ヘッド分割と比べてTTFTを最大1.69×短縮します。
vLLMは大規模言語モデルの推論とAPI配信のためのライブラリで、Moonshot AIはKimiモデル群を開発する北京拠点のAI企業です。記事はInferactとvLLM Teamが共同で執筆しました。
何が新しいか
Kimi K3.1 ProはK3のKDA+MLAハイブリッド構成(93層: KDA 69層+フルアテンション24層)を引き継ぎ、24のフルアテンション層すべてにDSA indexer(top-2048、32ヘッド×128次元、FP8 key)を追加したマルチモーダルMoEです。MoEは896エキスパート中16が活性で、K3から変わっていません。indexerはトークンごとに132バイトのindex keyだけで全文脈を走査し、上位2,048トークンについてのみ576バイトのFP8 latentを読みます。このため長文デコード時の層当たり読み取りバイト数は、Dense MLAの約23%に下がります。
vLLMの対応内容は次のとおりです。
- 疎アテンション(FlashInfer/FlashMLAの疎MLAカーネル)
- MLA latent、index key、KDA状態をブロック単位で1行にまとめるKVキャッシュ。P/D分離時はRDMA読み出し1回で転送できます
- トークン分割プリフィル
- デコード文脈並列(DCP)。top-k統合の通信量を約10分の1に削減しています
- CuTe DSLによる融合低遅延デコード
- DSparkによるSpeculative decoding
- エージェント向けサービング
- ゼロミスマッチRL。vLLMとMegatronがbase/LoRAの両方でビット一致のlog-probを出し、100ステップの全モデル学習でPPO KLが毎ステップ0になります
性能とKVキャッシュ
| 項目 | 数値 |
|---|---|
| トークン分割プリフィルのTTFT(340Kトークン、8×GB300) | 15.89 s → 9.42 s(1.69×) |
| 同(27K / 108K) | 1.16× / 1.29× |
| DCP8でのアテンションモジュール | 1.3–1.5×高速 |
| DCPプリフィル(レイヤー当たり) | 4.1–4.3×高速 |
| DCP8が保持できるKVトークン数 | TP8の7.2× |
| 融合デコード(8×GB300) | 1.2–1.6×高速 |
| 融合デコード(DCP8) | 1.9×高速 |
| GB300(AgentX) | 最大375.9 tok/s/user、合計37.8K tok/s/GPU |
| Rubin(AgentX) | 最大815.6 tok/s/user、合計68.7K tok/s/GPU |
トークン当たり・GPU当たりのKVキャッシュ(24層分)は、K3のFP8 latentが13,824バイトです。K3.1 ProはFP8 latent+FP8 index keyで16,992バイト、NVFP4 latent+MXFP4 index keyで10,080バイトになります。MXFP4 index keyを有効にすると格納できるトークン数が11%増え、長文脈でのindexerも10–20%速くなります。両方を適用した場合、8×GB300はFP8時の1.7倍のトークンを保持します。さらにDCP8と組み合わせると、1Mトークンのフル文脈を約36本同時に保持できます(TP8+FP8では3本)。
試し方
NVIDIA GPU(テンソル並列8)では次のコマンドを実行します。Dockerイメージとマルチノード用コマンドはKimi K3.1 recipeにまとめられています。
vllm serve moonshotai/Kimi-K3.1-Pro --tensor-parallel-size 8 --trust-remote-code --load-format fastsafetensors --enable-auto-tool-choice --tool-call-parser kimi_k3 --reasoning-parser kimi_k3 --speculative-config '{"model":"Inferact/Kimi-K3.1-Pro-DSpark-preview","num_speculative_tokens":5,"method":"dspark","draft_sample_method":"probabilistic"}'
AMD GPUでは次のコマンドを実行します。
VLLM_ROCM_USE_AITER=1 SAFETENSORS_FAST_GPU=1 \
vllm serve moonshotai/Kimi-K3.1-Pro --served-model-name kimi-k31-pro --tensor-parallel-size 8 --trust-remote-code --load-format fastsafetensors --max-num-seqs 16 --gpu-memory-utilization 0.85 --speculative-config '{"model":"Inferact/Kimi-K3.1-Pro-DSpark-preview","num_speculative_tokens":5,"method":"dspark","draft_sample_method":"probabilistic"}'
どちらもドラフトモデルにInferact/Kimi-K3.1-Pro-DSpark-previewを指定しています。対応プラットフォームはNVIDIA GPU、AMD GPU、Google TPU、Alibaba T-Head PPUです。
まだコメントはありません。