NVIDIA、64BのOmnimodal世界モデル「Cosmos3-Super」を公開

NVIDIAは2026年5月31日、Physical AI向けのOmnimodal世界モデル「Cosmos3-Super」(学習可能パラメータ64B)をHugging FaceとGitHubで公開しました。テキスト・画像・動画・音声・アクション軌跡の組み合わせを入力し、テキスト、画像、動画、音声、アクションを生成します。

何が新しいか

Cosmos3-Superは、世界理解、世界生成、シミュレーション、未来予測、アクション推論、身体化ポリシー学習を対象とするモデルです。アーキテクチャはTransformerベースのMixture-of-Transformers(MoT)で、離散トークン生成を担う自己回帰Transformerと、連続的なマルチモーダル生成を担う拡散Transformerの2つのタワーで構成されます。推論時、テキストは通常の次トークン自己回帰デコードで生成し、画像・動画・音声・アクションは反復的なデノイジングで合成します。ベースはCosmos Frameworkです。対象分野はロボティクス、自動運転、スマートスペース、産業・工場規模の用途です。

入出力の仕様

項目	内容
テキスト入力	最大4096 tokens
画像入力	jpg/png/jpeg/webp、256p・480p・720p、16:9・4:3・1:1・3:4・9:16
動画入力	mp4、256p・480p・720p、最大5フレーム
音声入力	最大0.5秒(MP4に含める場合はステレオ2ch・48 kHz)
アクション入力	json(1D list)、16–400動画フレーム
動画生成長	5–400フレーム(デフォルト189フレーム)
出力形式	画像JPG、動画MP4、音声AAC(MP4内)、アクション.json(1D list)、テキストstring

画像・動画入力はRGB(8ビット/チャンネル、sRGB)で、グレースケールには対応しません。アクションは(T, D)形状のフレームごとの状態・制御値列で、対応エンボディメントと次元数は一般カメラ動作(9D)、自動運転車(9D)、エゴセントリック動作(57D)、Franka Panda単腕+RobotiQグリッパー(10D)、双腕(20D)、Agibot(29D)、UR(10D)、Google robot(10D)、WidowX 250(10D)、UMI(9D)です。生成動画の解像度・フレームレート・長さは入力で指定します。

提供条件・入手先

モデルはnvidia/Cosmos3-Superとして、Hugging FaceのCosmos3コレクション(https://huggingface.co/collections/nvidia/cosmos3)で提供されています。コードはGitHubのhttps://github.com/nvidia/cosmosで公開されています。ライセンスはOpenMDW1.1で、商用・非商用の利用に対応し、提供地域はグローバルです。