InferactとvLLMチームは2026年10月23日、NVIDIA GB300 NVL72の1ラック上でP/D分離とWide-EPを組み合わせ、SemiAnalysis AgentXでDeepSeek-V4.1-Flashを954K tokens/s/GPU(P90で196 tokens/s per user)で提供した結果を公開しました。この値は前回記事の単一ノード集約構成の7.9倍です。
vLLMは大規模言語モデルの推論とAPI配信のためのライブラリで、PagedAttentionや連続バッチ処理、分散推論を備えます。
主な数値
| 項目 | 値 |
|---|---|
| スループット(GB300 NVL72、P/D分離+Wide-EP) | 954K tokens/s/GPU |
| P90ユーザーあたり速度 | 196 tokens/s |
| 単一ノード結果比 | 7.9× |
| DeepSeekオフピーク価格換算 | $38.96 per GPU-hour |
| 単一ユーザー向け特殊デコード経路 | 826 tokens/s |
| グローバルKVキャッシュ | 890 bytes/token(層間KV共有+FP4圧縮) |
スループットはキャッシュ済み入力、未キャッシュ入力、出力トークンをすべて数えた値です。
DeepInferとの比較
DeepInferはDeepSeekがDeepSeek-V4.1-Flash向けに同週公開したオフラインエンジンです。DeepSeekのデコード設定(131Kコンテキスト、nextn=3)で、GB200上のvLLMはバッチサイズ8〜256の範囲でDeepInferの公開値との差が6%以内でした。プリフィルについては、DeepInfer側がEP4DP4・冗長エキスパート32個・140-token bounded replay(ハードウェア記載なし)、vLLM側がGB300上のDEP2・冗長エキスパートなし・128-token replayと条件が異なるため、記事は差をエンジン間の速度差とは解釈せず、vLLMが公開曲線に追随していると述べています。両者が近いのは、DeepInferが元々vLLM上に構築され、vLLMもMegaAttn、MegaMoE、Mega-mHCなどDeepSeekのカーネルを取り込んできたためと説明しています。
最適化の内訳
- モデル特性: 128Kから855Kへコンテキストを6.7倍にしても、ターゲットモデルのデコード遅延は0.6 ms(+7%)増にとどまります(DEP32、GB300)。DEP4・128K・64リクエスト/rankではMoEがステップの62%、attentionとindexerは合計13%です。
- プリフィル: AgentXのプリフィル単独実行(並行度256)で、DEP4はDEP2の83%のGPUあたりスループット(53.3K vs 64.4K tokens/s)でした。DP不均衡時の損失はDEP2が5.9%、DEP4が13.6%です。
- プリフィル追加最適化: 層20へのSWA bounded replay拡張(
#59894、32Kで+19.9%)、Engramホストテーブルの2 MBページ化(#62359、+2.8%)、indexerへのDeepSelect top-k導入(#62240、+15.6%)。128Kキャッシュ上で合計35.6〜43.9%向上し、64Kでは71.2Kから102.5K tokens/s/GPUになりました。 - デコード: DEP4からDEP32へ広げるとターゲットのMegaMoE時間は13.4 msから6.0 msに減りますが、残りの処理は約10 msのままで、伸びは逓減します。EPLBは3,000ステップごとに直前1,000ステップの負荷で再配置し、balancednessをターゲットで0.35→0.94、ドラフトで0.21→0.89に改善しました。
構成と測定方法
- DeepSeek-V4.1-FlashをP/D分離とWide-EPでGB300 NVL72ラック上に配置します。
- プリフィルは小さいDEPサイズ(DEP2)を使います。
- デコードはWide-EPとEPLBを有効化します(EPLB適用時の設定はDEP32、128Kコンテキスト、GPUあたり64リクエスト)。
- 低レイテンシー用途では単一ユーザー向けの特殊デコード経路を使います。
- 測定にはGPU時間のみを測る
vllm bench forward(#61339)と、エンジン全体のデコード性能を測るDecodeBenchConnectorを使っています。
まだコメントはありません。