NVIDIA、16Bのオムニモーダル世界モデル「Cosmos3-Nano」を公開

NVIDIAは2026年5月31日、学習可能パラメータ16Bのオムニモーダル世界モデルCosmos3-NanoをHugging FaceとGitHubで公開しました。テキスト・画像・動画・音声・アクション軌跡を入力に取り、テキスト、画像、動画、音声、アクションを生成します。ライセンスはOpenMDW1.1で、商用・非商用利用が可能です。

何が新しいか

Cosmos3-Nanoは、Mixture-of-Transformers(MoT)アーキテクチャを採用しています。離散トークン生成を担う自己回帰Transformerと、連続的なマルチモーダル生成を担う拡散Transformerの2つのタワーで構成されます。推論時、テキストは通常のnext-token自己回帰デコードで生成し、画像・動画・音声・アクションは反復的なdenoisingで合成します。NVIDIAはこの構成について、異なるモダリティを単一のフレームワークで扱いながら、モダリティごとに適した生成方式を保てると説明しています。対象用途は、物理世界の理解、世界生成、シミュレーション、将来予測、アクション推論、身体化ポリシー学習などのPhysical AIで、ロボティクス、自動運転車、産業・工場規模を含むスマートスペース環境を想定しています。

入出力の仕様

項目	仕様
テキスト入力	最大4096 tokens
画像入力	256p/480p/720p、アスペクト比16:9・4:3・1:1・3:4・9:16、jpg/png/jpeg/webp
動画入力	256p/480p/720p、最大5フレーム、mp4(音声あり・なし)
音声入力	最大0.5秒
アクション入力	16〜400 video frames、json(1D list)
動画生成長	5〜400 frames(デフォルト189 frames)
出力形式	画像JPG、動画MP4、音声AAC(MP4内)、アクション.json、テキスト

音声を多重化したMP4を入力動画として使う場合、その音声は2チャンネル(ステレオ)・48 kHzである必要があります。画像・動画入力はRGB(8 bits per channel、sRGB)のみで、グレースケールは扱えません。アクション入力はフレームごとの状態・制御値の(T, D)配列で、Dはembodimentごとに決まります。

対応embodiment

アクションの入出力は互換性のあるembodimentに限られます。general camera motion(9D)、autonomous vehicle(9D)、egocentric motion(57D)、single Franka Panda arm with RobotiQ gripper(10D)、dual Franka Panda arm with RobotiQ gripper(20D)、Agibot(29D)、UR(10D)、Google robot(10D)、WidowX 250(10D)、UMI(9D)が対象です。

試し方

モデルはHugging Faceのnvidia/cosmos3コレクション(nvidia/Cosmos3-Nano)から入手できます。コードはGitHubのnvidia/cosmosリポジトリで公開されています。