RadixArk/Qwen3.8-Flash-Next-NVFP4モデルがSGLang-V100でサポートされ、4台のV100 32GB GPUで256kのフルコンテキスト実行が可能になりました。実行時には、50GBを超えるngramがシステムRAMへオフロードされます。
実行条件
- 推論エンジン：SGLang-V100
- 対象モデル：RadixArk/Qwen3.8-Flash-Next-NVFP4
- GPU：V100 32GB ×4台
- コンテキスト長：256k
- ngramオフロード量：50GB超（システムRAM）
ベンチマーク結果
プロンプト長10kでの測定結果は以下のとおりです。MTP（投機的デコードに用いる機能）の有無で数値が分けられています。
| 指標 | MTPなし | MTPあり |
|---|---|---|
| Prefill速度 | 4,655 tks | 4,354 tks |
| Decode速度 | 59.93 tks | 81.39 tks |
| TTFT | 2,154 ms | 2,307 ms |
| ITL | 16.75 ms | 12.33 ms |
これらの結果は、4台のV100 32GB GPUを使用し、256kのフルコンテキストで、50GBを超えるngramをシステムRAMへオフロードする条件で示されています。
まだコメントはありません。