NVIDIA、Kimi-K3.1-ProのNVFP4量子化版をHugging Faceで公開

NVIDIAは11/10/2026、Moonshot AIの総パラメータ2.8T・活性104BのMoEモデルKimi-K3.1-ProをNVFP4に量子化したnvidia/Kimi-K3.1-Pro-NVFP4をHugging Faceで公開しました。対象はNVIDIA Blackwell上のvLLM推論です。

NVFP4はNVIDIAがBlackwell向けに導入した低精度の浮動小数点形式で、値のブロックとテンソル全体にそれぞれスケールを持たせます。Kimiは、Moonshot AIが開発するAIモデルのファミリーです。

何が新しいか

Kimi-K3.1-ProはKimi K3からポストトレーニングされたネイティブマルチモーダルのMoEモデルで、コンテキスト長は1,048,576 tokensです。今回の配布物はその重みとアクティベーションをNVFP4へ量子化した事前量子化版で、NVIDIAはAIエージェント、チャットボット、RAGシステムなどへの展開を想定しています。モデルカードは、基盤モデル自体はNVIDIAの所有・開発ではないと明記しています。

量子化の構成

元のチェックポイントはMXFP4で重みを保持しています。NVIDIAはこれを部位ごとに次のように処理しました。

部位	処理
ルーティングされたMoE専門家の重み	MXFP4からNVFP4へ変換、input_scalesは1.0に設定
共有専門家	MXFP8、アクティベーションスケールは実行時に学習
KDAアテンション	MXFP8、アクティベーションスケールは実行時に学習

量子化にはNVIDIA Model Optimizer(nvidia-modelopt v0.48.0)を使い、モデルバージョンはNVFP4 1.0です。キャリブレーションにはcnn_dailymailとNemotron-Post-Training-Dataset-v2を用いています。評価データセットとしてGPQA Diamond、SciCode、Tau2-bench Telecom、MMMU-Pro、AA-LCR、Terminal-Bench 2.1を挙げていますが、NVIDIAはこの量子化チェックポイントについて別途のテストデータセットでの検証は行っていません。

動作要件と利用条件

• ハードウェア: NVIDIA Blackwell(テスト環境はNVIDIA Blackwell GB300)
• OS: Linux
• 推論エンジン: vLLM
• 入力: テキストと画像(画像はRGB、MoonViT-V2でエンコード)、出力はテキスト
• 利用: 商用・非商用に対応。ダウンロードにはNVIDIA Open Model Agreementが適用され、基盤モデルにはKimi-K3.1-Pro Licenseが追加で適用されます。