NVIDIAは2026年5月31日、Hugging FaceとGitHubで、1枚の入力画像とテキスト指示から時間的に一貫した動画を生成する64Bパラメータのモデル「nvidia/Cosmos3-Super-Image2Video」を公開しました。ライセンスはOpenMDW1.1で、商用・非商用の両方で利用できます。
何が新しいか
Cosmos3-Super-Image2Videoは、Cosmos3-Superベースモデルを画像から動画生成向けにポストトレーニングした派生モデルです。Cosmos3は、テキスト・画像・動画・アクション軌跡の組み合わせから動画、画像、音声、アクションコマンドを生成するOmnimodalワールドモデル群です。アーキテクチャはMixture-of-Transformers(MoT)で、離散トークン生成用の自己回帰Transformerと、連続的なマルチモーダル生成用のdiffusion Transformerの2つのタワーで構成します。推論時、テキストは通常のnext-token自己回帰デコードで生成し、画像・動画・音声・アクションは反復的なdenoisingで合成します。
入出力の仕様
| 項目 | 仕様 |
|---|---|
| 学習可能パラメータ | 64B |
| テキスト入力上限 | 4096 tokens |
| 画像・動画の解像度 | 256p / 480p / 720p |
| アスペクト比 | 16:9、4:3、1:1、3:4、9:16 |
| 入力動画の最大フレーム数 | 5 |
| 入力音声 | 最大0.5秒、ステレオ、48 kHz |
| アクション入力 | 16〜400 video frames |
| 動画生成長 | 5〜400フレーム(デフォルト189フレーム) |
| 出力音声 | AAC、MP4内に多重化、ステレオ、48 kHz |
入力形式はテキストがString、画像がjpg/png/jpeg/webp、動画がmp4、アクションがjson(1D list)です。画像・動画はRGB(8 bits per channel、sRGB)で、グレースケールには対応しません。出力は画像がJPG、動画がMP4、アクションが1D list(.json)、テキストがstringです。
アクション入力は形状(T, D)の配列で、対応embodimentに限られます。general camera motion(9D)、autonomous vehicle(9D)、egocentric motion(57D)、RobotiQ gripper付き単腕Franka Panda(10D)・双腕Franka Panda(20D)、Agibot(29D)、UR(10D)、Google robot(10D)、WidowX 250(10D)、UMI(9D)が挙げられています。
背景
NVIDIAはGPUを含むチップ、コンピューターシステム、ソフトウェアを開発する企業です。Cosmosは、ロボティクス、自動運転、工場規模を含むスマートスペースなどのPhysical AI開発に向けて、物理世界の理解・シミュレーション・相互作用を可能にするワールド基盤モデルプラットフォームと位置づけられています。モデルはCosmos Frameworkをベースに開発されています。
まだコメントはありません。