NVIDIA、4Bの世界モデル「Cosmos3-Edge」をOpenMDWで公開

NVIDIAは2026年7月20日、Physical AI向けのマルチモーダル世界モデル「Cosmos3-Edge」(4Bパラメータ)をHugging FaceとGitHubで公開しました。ライセンスはOpenMDW1.1で、商用・非商用の両方で利用できます。

何が新しいか

Cosmos3は、テキスト・画像・動画・アクション軌跡の組み合わせから、テキスト、画像、動画、音声、アクションを生成する「Omnimodal」世界モデル群です。Cosmos3-Edgeはその一つで、ロボティクス、自動運転、スマートスペース、産業・工場用途を対象にしています。

アーキテクチャはTransformerベースのMixture-of-Transformers(MoT)構成で、離散トークン生成用の自己回帰Transformerと、連続的なマルチモーダル生成用の拡散Transformerという2つの塔を持ちます。推論時、テキストは通常のnext-token自己回帰デコードで生成し、画像・動画・音声・アクションは反復的なdenoisingで合成します。

入出力仕様

項目	仕様
テキスト入力上限	4096 tokens
画像入力	256p / 480p、アスペクト比16:9・4:3・1:1・3:4・9:16、jpg・png・jpeg・webp
アクション入力	JSONの2D配列 (T, D)、シーケンス長16–400
動画出力	256p / 480p、12–30 fps、50–150 frames、MP4
その他出力	画像はJPG、アクションはJSON、テキストはstring

画像入力はRGB(1チャンネル8ビット、sRGB)に限られ、グレースケールは扱えません。アクション入出力は対応embodimentに限られ、一般カメラ動作(9D)、自動運転(9D)、egocentric motion(57D)、RobotiQグリッパー付きFranka Panda単腕(10D)・双腕(20D)、Agibot(29D)、UR(10D)、Google robot(10D)、WidowX 250(10D)、UMI(10D)が挙がっています。

試し方

モデルはHugging Faceのnvidia/Cosmos3コレクション、コードはGitHubのnvidia/cosmosで提供されています。動画生成では、リクエストごとにsize、fps、num_framesフィールドで解像度、フレームレート、フレーム数を指定します。

NVIDIAは2026年8月25日にgeneratorチェックポイント、ランタイムのデフォルト値、使用例、ベンチマーク結果を更新しました。mainから取得済みの場合はローカルスナップショットの更新が必要です。