TensorRT-LLM v1.3.0、Rubin対応とTensorRTバックエンド削除

TensorRT-LLM v1.3.0は、NVIDIA Rubin(SM107)へのプレビュー対応、DeepSeek-V4・Kimi K3・Qwen3.5などのモデル追加、画像・動画生成向けVisualGenを加え、TensorRT backendを削除してPyTorchのみをバックエンドとしました。依存するCUDA Toolkitは13.4.1、PyTorchは2.14.0です。

NVIDIAはGPUを含むチップ、コンピューターシステム、ソフトウェアを開発する企業です。

対応GPUとモデル

Rubinサポートはプレビューで、Vera Rubinで検証済みです。Vera Rubin上ではDeepSeek-V4とKimi K3に対応します。

モデル 対応GPU
DeepSeek-V4 Blackwell、Rubin(プレビュー)
Kimi K3(マルチモーダル、マルチノード含む) Blackwell、Rubin(プレビュー)
Qwen3.5(BlackwellでMTP・NVFP4) Hopper、Blackwell、Rubin(プレビュー)
Qwen3.6、Qwen3.8-Flash-Next Blackwell
MiniMax-M3 Blackwell、Rubin(プレビュー)
GLM-5、GLM-5.2、Kimi-K2.5、Step-3.7-Flash Blackwell
Nemotron Nano Omni、Laguna Hopper、Blackwell
Gemma 4(マルチモーダル含む) Blackwell

Kimi K3のAttention data parallelism(DEP16)にはGB300-class GPU memoryが必要です。Qwen3.5やNemotron Super V3などMamba hybridモデルのprefix cachingも追加しました。

主な推論機能

  • 性能: RubinのNVFP4 MoE向けlocality domain(uGPU)を既定で有効化し、メモリトラフィックを各GPUダイ内に保ちます。無効化はDISABLE_LOCALITY_DOMAINS=1です。SM10x向けcascade attentionも追加しました。
  • 投機的デコーディング: DSpark、DFlash、Suffix Automaton、PARDのdrafter、EAGLE3 dynamic trees、Eagle 3.1、LoRA併用に対応しました。
  • MoE: DWDP、DENSEGEMM、MEGAMOE_DEEPGEMM、MEGAMOE_CUTEDSL、CUTEDSL_FC12(Rubinのみ)、MARLINの各backend、NCCL-EP backend、最大2048 expertsに対応します。
  • KVキャッシュ: KV Cache Manager V2を多くのモデルファミリーで既定有効にし、TriAttentionとNVFP4 cold-page compression、NVFP4 KV cache、disk cache、FlexKV・LMCache connectorを追加しました。
  • 量子化: MXFP8(W8A8)、Marlin経由のW4A16 NVFP4 weight-onlyに対応し、NVFP4チェックポイントがHopperとAda Lovelaceで動きます。
  • API: Anthropic Messages API(/v1/messages)、gRPCサーバー、Prometheus metrics、--served_model_name・--kv_cache_dtype・--middlewareオプション、実験的なthinking_token_budgetを追加しました。

VisualGen

VisualGenは画像・動画生成向けの新しい垂直ソリューションで、LLM推論と同じtrtllm-serveから提供されます。画像はFLUX.1、FLUX.2、GLM-Image、Qwen-Image(Edit、Layered含む)、動画はWan 2.2、LTX-2、HunyuanVideo 1.5、Cosmos3、MiniMax-H3に対応し、NVFP4/FP8量子化やTeaCache、Cache-DiTを備えます。既知の問題として、NVIDIA Model Optimizerで静的量子化したFLUX.1チェックポイントはout_channelsがnullのため初期化に失敗する場合があります。

導入要件と依存関係

Python 3.10と3.12に対応します。wheelはUpstream public PyTorch向け(PyPI)とNGC PyTorch container向け(https://pypi.nvidia.com/trtllm_ngcpytorch/)の2種類です。ベースDockerイメージはnvcr.io/nvidia/pytorch:26.09-py3です。TensorRT、ModelOpt、ONNXは依存から外れ、C++標準はC++20になりました。

依存 バージョン
CUDA Toolkit 13.4.1
PyTorch 2.14.0
transformers 5.5.4
flashinfer-python 0.6.18
triton 3.8.0
NCCL 2.31.2
NIXL 1.4.0
UCX 1.22
CUTLASS 4.4.2
xgrammar 0.1.32

破壊的変更

  • TensorRT backendを削除し、trtllm-build、BuildConfig、trtllm-bench buildなども消えました。移行ガイドが用意されています。
  • レガシーC++ Executor/runtime API、TensorRT-engine Triton backendモデル(llmapi Tritonモデルのみ残存)、TRTLLMSampler、two-model投機的デコーディング、AutoDeploy、Star Attention、WIDEEPを削除しました。
  • CLIフラグがYAML設定より優先されます。
  • KV cache転送タイムアウトの既定値を60秒にしました(cache_transceiver_config.kv_transfer_timeout_msで設定)。
  • リクエスト単位のchat templateはオプトインになり、trtllm-serve --allow_request_chat_templateで有効化します。
  • logprobsは上限100で、超えるとValueErrorです。/perf_metricsは廃止され、X-TRTLLM-return-metrics: 1ヘッダーで代替します。
  • NVFP4 cold-page compressionは既定で無効です。DeepSeek-V4で有効化するとNoPEはNVFP4、RoPEは既定で2FP4(nvfp4_residual_dim=64)になります。従来精度を保つにはskip_rope_quantization=True、単一NVFP4はnvfp4_residual_dim=0を設定します。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内