NVIDIA、Cosmos 3 Nanoの16B世界シミュレーションモデル4種を公開

NVIDIAは2026年11月5日、Hugging Face上でCosmos 3 Nanoのオープンウェイトチェックポイント4種を公開しました。いずれもtrainable parametersは16Bで、インタラクティブな世界シミュレーションと、最大11カメラビューの自動運転向けマルチセンサー生成に対応します。

4つのチェックポイント

4モデルはいずれもCosmos 3 Nanoのポストトレーニング例です。ライセンスはOpenMDW1.1で、その条件に基づき商用・非商用利用を許可しています。

モデルID	入力 → 出力	用途
nvidia/Cosmos3-Nano-Transfer-Auto	運転シナリオ → マルチセンサーデータ	天候・照明・時刻を変えたオフラインの合成運転データ生成(双方向モデル)
nvidia/Cosmos3-Nano-Sim-Auto	運転制御 → ストリーミング観測	カメラとLiDARの同期ストリーミング生成(Transfer-Autoの因果蒸留版)
nvidia/Cosmos3-Nano-Sim-Transfer	シミュレーター制御 → RGB	物理シミュレーターの空間制御とテキストからフォトリアルな映像を生成
nvidia/Cosmos3-Nano-Sim-Bimanual	アクション → 動画	双腕ロボットまたはカメラのアクションから次の観測を予測

各モデルの入力と仕様

• Transfer-Auto: 魚眼を含む最大11カメラビューの同期映像を生成し、RGB–LiDARの同時生成に対応します。カメラごとのWorld Scenario Map(WSM)制御でシーン構造と交通の動きを、テキストプロンプトで見た目を指定し、任意で初期RGB画像を与えられます。LiDAR生成にはカメラ制御と整合したHD-map range-map制御を使います。
• Sim-Auto: カメラごとのキャプションと同期WSM制御(任意で初期RGB画像)を入力し、少ないデノイジングステップで小さなチャンクを連続生成します。LiDAR生成にはカメラ制御と整合したHD-Map range controlsを含めます。closed-loopの相互作用には、シミュレーションランタイムと、運転入力から制御を更新するWSMレンダラーが必要です。
• Sim-Transfer: 深度、セグメンテーション、エッジ、ぼかしの空間制御とテキストからRGB観測を生成します。物理と真値の状態はシミュレーター側が保持します。
• Sim-Bimanual: YAMとAgiBotの双腕ロボット形態に対応し、ポリシーまたはジョイスティック操作で制御します。混合アクションの例は59個の制御値を使い、学習時は64にパディングします。T回の遷移にはT+1個の観測が必要で、公開推論用アクションは正規化済みです。座標系、回転、グリッパー較正、validity maskはアクションスキーマの規約に合わせます。

試し方と要件

Hugging Faceからチェックポイントをダウンロードし、コーディングエージェントに公開skill(「Run inference with Cosmos3-Nano-Transfer-Auto」「Run inference with Cosmos3-Nano-Sim-Auto」「Run inference with Cosmos3-Nano-Sim-Transfer」「Run inference with Cosmos3-Nano-Sim-Bimanual」)を渡して推論を実行します。

Sim-Bimanualの実行要件はLinux、NVIDIA GPU、Docker、NVIDIA Container Toolkitです。公開されたvLLM-Omniセットアップは1台のGB200でテスト済みですが、NVIDIAはこれを最低メモリ要件ではないとしています。実行時はサーバーが重みをダウンロードし、クライアントがサンプル入力を取得します。

独自データで適応する場合、ポストトレーニングレシピはCosmos3-Nanoまたは互換ベース重みから4段階すべてをカバーします。環境チェック、サンプル検証、短い学習と再開テストを済ませてから長時間学習に入る手順です。エクスポートした推論用重みにはoptimizerなどの学習状態が含まれないため、再開用には完全な学習チェックポイントを保持します。新しいセンサー構成や運転領域には、まずTransfer-Autoを適応させ、それをSim-Autoへ蒸留する流れをNVIDIAは示しています。

ストリーミング生成と学習レシピ

Cosmos 3は、テキスト処理ネットワークと視覚生成ネットワークをattentionで接続するMixture-of-Transformersバックボーンを使います。プロンプト、制御、生成履歴から短いセグメントを予測し、temporal-causal attentionで未来の観測を遮断しつつ、key/valueキャッシュを次の予測に引き継ぎます。初期画像以降、latentの1タイムステップは4 RGBフレームに相当し、Transferは1チャンクで1ステップ、レポートの最適化Bimanual構成は2ステップを予測します。

学習は次の4段階です。

1. Stage 0: 双方向適応(録画クリップ全体から制御と映像の関係を学習)
2. Stage 1: teacher forcing
3. Stage 2: consistency distillation(各チャンクを4デノイジングステップで生成する生徒モデルを学習)
4. Stage 3: self-forcing(生徒自身の生成履歴で学習し、誤差の蓄積に対処)

NVIDIAは公開重みとレシピを、独自のセンサー構成・運転領域・ロボット形態への適応や手法比較の出発点と位置づけています。