vLLMチームは2026年10月23日、16基のH200でGLM-5.3を配信する構成として、PCP8 × DCP8のプリフィルとHybrid HiSparseのデコードを組み合わせたP/D分離構成を報告しました。AgentXベンチマークでDP8構成比1.7〜3.2倍のユーザーあたり速度を示し、テストした構成で唯一1Mトークンのコンテキストに対応しました。
GLMはZ.aiが開発するAIモデルのファミリーで、vLLMは大規模言語モデルの推論とAPI配信のためのライブラリです。
何が新しいか
vLLMチームによると、H200ではGLM-5.3の重みが各GPUのメモリの大半を占め、長文エージェント処理ではKVキャッシュ容量とプリフィル速度が制約になります。TP8はMLAの潜在KV(64ヘッドで共有)を各GPUで複製し、2,048トークンを選ぶインデクサも分割されず各GPUで二次コストを繰り返します。DP8は1つのプロンプトを1GPUで処理するため、TTFTとKV容量が制限されます。
- PCP: プロンプトをトークン単位で分割します。16チャンクに切り、前方と後方のチャンクを対にして各GPUに割り当てて負荷を均衡させます。sparse MLAの演算強度は約26から約191 FLOPs/byteに上がり、インデクサがsparse MLAを上回るプロンプト長はTP8の約32Kから約256Kに移ります。
- DCP: KVキャッシュをラウンドロビンでトークン単位に分割し、GPUごとの複製をなくします。プリフィルでは各層でシャードをall-gatherして一時的な全コンテキストを作り、使用後に解放します。
- Hybrid HiSparse: デコード側でKVをホストメモリにも保持し、同時実行数をHBMではなくホストメモリで制約される形にします。
これらの構成はModel Runner V2上で動作し、NIXL connectorがプリフィル側のトークン分割KVをデコードランクのページ配置に再構成します。
構成と数値
| 項目 | 値 |
|---|---|
| GPU | H200 16基(プリフィル8基+デコード8基) |
| プリフィル | PCP8 × DCP8 × EP8、CPU KVオフロード512 GiB |
| デコード | DP8ランク+EP8、ランクごとにHiSparseホストプール48 GiB+オフロード16 GiB |
| 推測デコード | MTP3(ドラフト3トークン) |
| 1MトークンのFP8 KV | 53.4 GiB(GPUあたり空きは約15 GiB) |
| DCP8適用後のGPUあたりKV | 6.7 GiB |
| DCP8のオーバーヘッド | 最大64Kトークンで約6%/ステップ、248Kで15%/ステップ |
| 中央値TTFT | PCP8 × DCP8で0.8〜0.9秒(DP8は1.5〜5.2秒) |
| c64 | 8,340 logical tok/s/GPU、29.6 tok/s/user |
評価はSemiAnalysis AgentX(Claude Codeのトレースをプレフィックス再利用で再生、同時実行数ごとに新規サーバー、1時間実行)で、受理長は合成値2.99に固定しました。c32まではプリフィル律速でPCP8 × DCP8の効果が大きく、c32以降はデコード律速になりHiSparseが優位になります。c64では他構成が1〜2 tok/s/userに落ちる中、HiSparse構成はスループットをほぼ倍にしました。約250Kトークンを超えるとPCP8単独ではKVを保持できず、DP8プリフィルランクもオフロードのみのデコードランクも1Mトークン要求を保持できません。DCPのall-gatherを前層の計算と重ねる最適化をチームは進めています。
試し方
vllm/vllm-openai:v0.32.0 イメージを含むvLLM v0.32.0以降で動作します。結果はvLLM mainのコミット9e38b4111aで測定し、再現用gistは2537629eb2を固定しています。プリフィルエンジンの主なフラグは次のとおりです。
--prefill-context-parallel-size 8 \
--decode-context-parallel-size 8 \
--dcp-comm-backend ag_rs \
--enable-expert-parallel \
--attention-config '{"sparse_mla_force_mqa":true}'
sparse_mla_force_mqaを指定すると、2,048トークンのtop-kに収まるプロンプトもdense MHAではなくsparse-MLA(MQA)カーネルで処理します。リクエストはプレフィックスを考慮するllm-d routerがプリフィルエンジンへ送り、NIXL connectorがKVをデコードランクへ転送し、デコードランクがトークンをストリーミングします。KVキャッシュは全構成でFP8です。
まだコメントはありません。