TensorRT-LLM v1.3.0は、NVIDIA Rubin(SM107)へのプレビュー対応、DeepSeek-V4・Kimi K3・Qwen3.5などのモデル追加、画像・動画生成向けVisualGenを加え、TensorRT backendを削除してPyTorchのみをバックエンドとしました。依存するCUDA Toolkitは13.4.1、PyTorchは2.14.0です。
NVIDIAはGPUを含むチップ、コンピューターシステム、ソフトウェアを開発する企業です。
対応GPUとモデル
Rubinサポートはプレビューで、Vera Rubinで検証済みです。Vera Rubin上ではDeepSeek-V4とKimi K3に対応します。
| モデル | 対応GPU |
|---|---|
| DeepSeek-V4 | Blackwell、Rubin(プレビュー) |
| Kimi K3(マルチモーダル、マルチノード含む) | Blackwell、Rubin(プレビュー) |
| Qwen3.5(BlackwellでMTP・NVFP4) | Hopper、Blackwell、Rubin(プレビュー) |
| Qwen3.6、Qwen3.8-Flash-Next | Blackwell |
| MiniMax-M3 | Blackwell、Rubin(プレビュー) |
| GLM-5、GLM-5.2、Kimi-K2.5、Step-3.7-Flash | Blackwell |
| Nemotron Nano Omni、Laguna | Hopper、Blackwell |
| Gemma 4(マルチモーダル含む) | Blackwell |
Kimi K3のAttention data parallelism(DEP16)にはGB300-class GPU memoryが必要です。Qwen3.5やNemotron Super V3などMamba hybridモデルのprefix cachingも追加しました。
主な推論機能
- 性能: RubinのNVFP4 MoE向けlocality domain(uGPU)を既定で有効化し、メモリトラフィックを各GPUダイ内に保ちます。無効化は
DISABLE_LOCALITY_DOMAINS=1です。SM10x向けcascade attentionも追加しました。 - 投機的デコーディング: DSpark、DFlash、Suffix Automaton、PARDのdrafter、EAGLE3 dynamic trees、Eagle 3.1、LoRA併用に対応しました。
- MoE: DWDP、
DENSEGEMM、MEGAMOE_DEEPGEMM、MEGAMOE_CUTEDSL、CUTEDSL_FC12(Rubinのみ)、MARLINの各backend、NCCL-EP backend、最大2048 expertsに対応します。 - KVキャッシュ: KV Cache Manager V2を多くのモデルファミリーで既定有効にし、TriAttentionとNVFP4 cold-page compression、NVFP4 KV cache、disk cache、FlexKV・LMCache connectorを追加しました。
- 量子化: MXFP8(W8A8)、Marlin経由のW4A16 NVFP4 weight-onlyに対応し、NVFP4チェックポイントがHopperとAda Lovelaceで動きます。
- API: Anthropic Messages API(
/v1/messages)、gRPCサーバー、Prometheus metrics、--served_model_name・--kv_cache_dtype・--middlewareオプション、実験的なthinking_token_budgetを追加しました。
VisualGen
VisualGenは画像・動画生成向けの新しい垂直ソリューションで、LLM推論と同じtrtllm-serveから提供されます。画像はFLUX.1、FLUX.2、GLM-Image、Qwen-Image(Edit、Layered含む)、動画はWan 2.2、LTX-2、HunyuanVideo 1.5、Cosmos3、MiniMax-H3に対応し、NVFP4/FP8量子化やTeaCache、Cache-DiTを備えます。既知の問題として、NVIDIA Model Optimizerで静的量子化したFLUX.1チェックポイントはout_channelsがnullのため初期化に失敗する場合があります。
導入要件と依存関係
Python 3.10と3.12に対応します。wheelはUpstream public PyTorch向け(PyPI)とNGC PyTorch container向け(https://pypi.nvidia.com/trtllm_ngcpytorch/)の2種類です。ベースDockerイメージはnvcr.io/nvidia/pytorch:26.09-py3です。TensorRT、ModelOpt、ONNXは依存から外れ、C++標準はC++20になりました。
| 依存 | バージョン |
|---|---|
| CUDA Toolkit | 13.4.1 |
| PyTorch | 2.14.0 |
| transformers | 5.5.4 |
| flashinfer-python | 0.6.18 |
| triton | 3.8.0 |
| NCCL | 2.31.2 |
| NIXL | 1.4.0 |
| UCX | 1.22 |
| CUTLASS | 4.4.2 |
| xgrammar | 0.1.32 |
破壊的変更
- TensorRT backendを削除し、
trtllm-build、BuildConfig、trtllm-bench buildなども消えました。移行ガイドが用意されています。 - レガシーC++ Executor/runtime API、TensorRT-engine Triton backendモデル(llmapi Tritonモデルのみ残存)、
TRTLLMSampler、two-model投機的デコーディング、AutoDeploy、Star Attention、WIDEEPを削除しました。 - CLIフラグがYAML設定より優先されます。
- KV cache転送タイムアウトの既定値を60秒にしました(
cache_transceiver_config.kv_transfer_timeout_msで設定)。 - リクエスト単位のchat templateはオプトインになり、
trtllm-serve --allow_request_chat_templateで有効化します。 - logprobsは上限100で、超えると
ValueErrorです。/perf_metricsは廃止され、X-TRTLLM-return-metrics: 1ヘッダーで代替します。 - NVFP4 cold-page compressionは既定で無効です。DeepSeek-V4で有効化するとNoPEはNVFP4、RoPEは既定で2FP4(
nvfp4_residual_dim=64)になります。従来精度を保つにはskip_rope_quantization=True、単一NVFP4はnvfp4_residual_dim=0を設定します。

まだコメントはありません。