NVIDIA、DGX Station 2台とvLLMでGLM-5.3 NVFP4を単一エンドポイント提供

NVIDIAは技術ブログで、ConnectX-8 RDMAで接続した2台のNVIDIA DGX StationにまたがってvLLMでGLM-5.3 NVFP4を提供する構成を紹介しました。テンソル並列処理で重みと計算を両GPUに分割し、単一のエンドポイントからモデルを提供します。

GLMはZ.aiが開発するAIモデルのファミリーで、vLLMは大規模言語モデルの推論とAPI配信のためのライブラリです。

何が新しいか

NVIDIAは、フロンティア規模のモデルをローカルで動かすには全重みをGPUメモリに保持する必要があり、最大級のモデルはもはや1台のマシンに収まらない、という課題を出発点にしています。その解決策として、2台のDGX Stationを1つの推論基盤として扱う構成を示しました。対象のGLM-5.3 NVFP4は、Z.aiのモデルをNVFP4で量子化したものです。

構成と要件

項目	内容
ハードウェア	NVIDIA DGX Station × 2台
相互接続	ConnectX-8 RDMA
推論基盤	vLLM(単一エンドポイント)
並列化	テンソル並列(重みと計算を2台のGPUに分割)
モデル	GLM-5.3 NVFP4
メモリ条件	モデルの全重みをGPUメモリに保持

試し方

• 2台のDGX StationをConnectX-8 RDMAで接続します。
• vLLMでテンソル並列処理を使い、モデルの重みと計算を両GPUに分割します。
• 1つのエンドポイントからGLM-5.3 NVFP4を提供します。