NVIDIA、16Bのロボット操作モデルCosmos3-Nano-Policy-DROIDを公開

NVIDIAは05/31/2026、Hugging FaceとGitHubで、学習可能パラメータ16Bのロボット操作向けモデル「Cosmos3-Nano-Policy-DROID」を公開しました。言語指示とDROIDロボットプラットフォームからの視覚観測を入力として、操作・制御タスク向けのロボット行動軌道を生成します。

NVIDIAはGPUを含むチップやソフトウェアを開発する企業で、Hugging Faceはモデルの重みやデータセットを共有するHugging Face Hubを提供する企業です。

何が新しいか

Cosmos3-Nano-Policy-DROIDは、Cosmos3-Nanoベースモデルを事後学習したロボットポリシー版です。Cosmos3は、テキスト・画像・動画・アクション軌道の組み合わせから動画・画像・音声・アクションコマンドを生成するオムニモーダルなワールドモデル群です。ライセンスはOpenMDW1.1で、商用・非商用の両方で利用できます。

アーキテクチャ

Cosmos3はTransformerベースのMixture-of-Transformers(MoT)を採用し、離散トークン生成用の自己回帰Transformerと、連続的なマルチモーダル生成用のDiffusion Transformerの2つのタワーで構成します。推論時、テキストは通常のnext-token自己回帰デコードで生成し、画像・動画・音声・アクションは反復的なデノイズで合成します。

入出力の仕様

項目	仕様
テキスト入力	String、上限4096 tokens
画像入力	jpg/png/jpeg/webp、256p・480p・720p
動画入力	mp4、256p・480p・720p、最大5フレーム
アスペクト比	16:9、4:3、1:1、3:4、9:16
音声入力	最大0.5 second、2チャンネル(ステレオ)48 kHz
アクション入力	json(1D list)、16–400 video frames
動画生成長	5–400 frames(デフォルト189 frames)
出力形式	画像JPG、動画MP4、音声はMP4内AAC、アクション.jsonの1D list、テキストstring

画像・動画入力はRGB(8 bits per channel、sRGB)で、グレースケールは非対応です。アクション入力は(T, D)形状のフレーム単位の状態・制御値で、対応embodimentに限られます。原文は対応例として、単腕Franka Panda+RobotiQグリッパー(10D)、双腕Franka Panda+RobotiQグリッパー(20D)、Agibot(29D)、UR(10D)、Google robot(10D)、WidowX 250(10D)、UMI(9D)、一般的なカメラ運動(9D)、自動運転(9D)、エゴセントリック運動(57D)を挙げています。

入手方法

モデルは次の2か所から入手できます。

• Hugging Faceのモデルコレクション: https://huggingface.co/collections/nvidia/cosmos3
• GitHubのリポジトリ: https://github.com/nvidia/cosmos

モデルIDはnvidia/Cosmos3-Nano-Policy-DROIDです。このモデルはCosmos Frameworkをベースに開発されています。

背景

NVIDIAはCosmosを、ロボティクス、自動運転、工場規模の用途を含むスマートスペースといったPhysical AI開発を加速するワールド基盤モデルのプラットフォームと位置付けています。