AMD、MI300X 8基でGLM-5.3-FlashのTP8とDP8+EP8を比較

AMDのROCm Blogsは、AMD Instinct MI300Xを8基搭載した単一ノードでGLM-5.3-Flashを131,072トークンの提供ウィンドウで動かし、TP8とDP8+EP8の並列化戦略、BF16とFP8のKVキャッシュを比較した記事を2026年11月11日に公開しました。BF16 KVキャッシュの容量はTP8が9,841,634トークン、DP8+EP8が56,564,848トークンで、5.75倍の差があります。

GLMはZ.aiが開発するAIモデルのファミリーで、vLLMは大規模言語モデルの推論とAPI配信のためのライブラリです。

KVキャッシュを持つのは45層中11層

GLM-5.3-Flashは総パラメータ320B、トークンあたり約18B活性の疎なMoEモデルです。45層のうち34層はKimi Delta Attention(KDA)で、状態がプロンプト長に応じて増えません。残る11層(3, 7, 11, …, 43の4層ごと)がDeepSeek sparse attention with MLAで、増加するKVキャッシュを保持します。MoEは層3〜44の42層で、288エキスパートからtop-8を選び、共有エキスパート1つが常に動きます。KVの行は512要素の潜在ベクトルで、qk_rope_head_dimが0のためRoPE分を持ちません。FP8チェックポイントは約306GB(62 shards)で、ノードのHBM 1,536GBの約5分の1です。記事は、長文脈・高同時実行ではKVキャッシュが重みを上回る最大のHBM消費要因になり得ると説明しています。

TP8とDP8+EP8の違いと測定値

TP8は1つのモデルを8 GPUに分割し、各GPUが全要求のKVキャッシュを複製して持つため、ノードのキャッシュ容量は1 GPU分になります。DP8+EP8は各GPUを独立したデータ並列ランクとし、288のルーテッドエキスパートを1 GPUあたり36個に分割し、要求ごとのキャッシュを一度だけ保持します。

項目	TP8	DP8+EP8
BF16 KVキャッシュ容量	9,841,634 tokens	56,564,848 tokens(8 × 7,070,606)
96k入力/32k出力の収容数	76(77件目は待機)	441
単一96k/32k要求の平均TPOT	12.6 ms	19.7 ms
単一96k/32k要求の出力スループット	78.7 tok/s	49.9 tok/s

同時実行数1では全形状でDP8+EP8/TP8のスループット比が0.61×〜0.63×で、TP8が約1.6倍です。1k/1kでは同時実行256で0.95×と、ほぼ互角にとどまりました。8k/1kでは同時実行128でDP8+EP8が1.19×、512で1.55×になりました。96k/32kでは同時実行64でTP8が2,105 tok/s、DP8+EP8が1,890 tok/sとTP8が上回りましたが、128ではTP8 2,085 tok/s対DP8+EP8 3,218 tok/s、256では2,317対4,719 tok/s(2.04×)と逆転しました。

FP8 KVキャッシュは値を1バイトで保存し、読み出し時に逆量子化します。BF16で収容できる範囲ではスループット変化は2%未満で、BF16で次の要求を収容できなくなるとFP8がスループットを向上させました。

試験条件と再現手順

• 環境: vLLM 0.31.0、ROCm sparse-MLA backend、FP8重み、提供ウィンドウ131,072トークン。バッチ上限とKV精度は両戦略で同一にしています。
• 要求形状: 1k in/1k out、8k in/1k out、96k in/32k out。ランダムトークンの固定長プロンプトを使い、出力は全長まで生成し、同時実行数を段階的に変えて測定しています。
• 収容上限の算出: vLLM起動時に表示される GPU KV cache size: N tokens を確認します。DP8+EP8では8ランク分を合計し、1要求の入力と出力のトークン合計で割って切り捨てます。
• ノイズ: 同一サーバーの反復で最大1.1%、ノード間で約3%の変動があり、記事は約3%以下の差を無視すべきとしています。

使い分けの目安

記事は、数百ユーザー・千トークン規模のチャット用途では両戦略とも上限内に収まる一方、100kトークン級のセッションを100件超並行させるエージェント用途ではTP8のキャッシュ上限を超えるとしています。単一要求の低レイテンシーではTP8、多数の長時間セッションではDP8+EP8が有利という整理です。