NVIDIAは2026年7月20日、Cosmos3-Edgeを後学習したロボットポリシーモデルnvidia/Cosmos3-Edge-Policy-DROID(4B)をHugging FaceとGitHubで公開しました。DROIDロボットプラットフォームの言語指示と視覚観測から、操作・制御タスク向けの8Dアクション軌跡を生成します。
NVIDIAはGPUを含むチップ、システム、ソフトウェアを開発する企業です。
何が新しいか
Cosmos3は、テキスト・画像・動画・アクション軌跡の組み合わせから動画、画像、音声、アクションコマンドを生成するPhysical AI向けのワールドモデル群です。今回のモデルはそのEdge版をDROID向けのロボットポリシーとして後学習したチェックポイントです。アーキテクチャはMixture-of-Transformers(MoT)で、離散トークン生成を担う自己回帰Transformerと、連続マルチモーダル生成を担う拡散Transformerの2タワー構成です。推論時、テキストは通常のnext-token自己回帰デコードで、画像・動画・音声・アクションは反復デノイズで生成します。
入出力仕様
| 項目 | 値 |
|---|---|
| Generatorのテキスト入力上限 | 4096 tokens |
| Reasonerのテキスト入力上限 | 最大256K tokens |
| 画像・動画入力解像度 | 256p / 480p(16:9, 4:3, 1:1, 3:4, 9:16) |
| 動画入力の最大フレーム数(Generator) | 5 |
| アクション入力 | 16〜400 video frames |
| 動画生成の長さ | 5〜400 frames(デフォルト189 frames) |
| アクション入出力 | DROIDのみ、8D |
| Reasonerの推奨動画fps | 4 fps |
アクション入力は関節位置やグリッパー状態などのフレームごとの状態・制御値の列で、形状は(T, D)の2D配列です。画像・動画はRGB(8bit/チャンネル、sRGB)で、グレースケールには対応しません。
試し方と利用条件
- 入手先: Hugging FaceのCosmos3モデルコレクション、またはGitHubの
nvidia/cosmos - Generator入力: テキスト(String)、画像(
jpg/png/jpeg/webp)、動画(mp4)、アクション(jsonの1D list) - Generator出力: 画像(JPG)、動画(MP4、入力で指定したfps)、アクション(
.jsonの1D list)、テキスト - Reasoner入力: テキスト、テキスト+画像、テキスト+動画
- ライセンス: OpenMDW1.1。商用・非商用ともに利用できます
まだコメントはありません。