NVIDIAは2026年7月20日、64Bパラメータの画像→動画生成モデルnvidia/Cosmos3-Super-Image2Video-4StepをHugging FaceとGitHubで公開しました。ベースモデルの推奨設定では100回必要だったモデル評価を4回に減らし、最大25倍の削減になります。
何が新しいか
本モデルはCosmos3-Super-Image2VideoをImproved Distribution Matching Distillation(DMD2)で蒸留したもので、classifier-free guidance(CFG)を使わない固定4ステップのサンプリングを採用します。ベースモデルの推奨設定は50ステップ+CFGで、50 × 2 = 100回のモデル評価が必要でした。品質面では、Artificial AnalysisのImage-to-Videoリーダーボードでオープンソースモデル中1位(2026年7月17日時点)とNVIDIAは述べています。ライセンスはOpenMDW1.1で、商用・非商用で利用できます。
仕様・入出力
| 項目 | 内容 |
|---|---|
| サンプリングステップ | 4(CFGなし) |
| 推奨出力解像度 | 832×480(480p、16:9) |
| デフォルトフレーム数 | 189フレーム |
| 出力形式 | MP4 |
| アーキテクチャ | Mixture-of-Transformers(MoT) |
1枚以上の入力画像と任意のテキスト指示から、画像内容と整合した時間的に一貫した動画を生成します。入力形式はテキストがString、画像がjpg/png/jpeg/webp、動画がmp4、アクション軌跡がjson(1D list)です。画像・動画入力はRGB、1チャンネルあたり8ビット、sRGBで、グレースケールは非対応です。動画入力は720p、480p、256pなどの解像度を受け付け、MP4に音声を多重化する場合はステレオ2チャンネル・48kHzが条件です。
Cosmos3のMoTは、離散トークン生成用の自己回帰Transformerと、連続的なマルチモーダル生成用の拡散Transformerの2つのタワーで構成されます。テキストは次トークンの自己回帰デコード、画像・動画・音声・アクションは反復的なデノイズで生成します。
必要ハードウェアと試し方
64Bモデルの推論には、マルチGPUのH100/H200ノード(4～8 GPU)または単一のB200が必要で、単一の小型GPUには収まりません。モデルカードはvLLM-Omniによる推論手順をUsageとして案内しています。重みはHugging Faceのモデルコレクションnvidia/cosmos3、コードはGitHubのnvidia/cosmosで公開されています。vLLMは大規模言語モデルの推論とAPI配信のためのライブラリです。
背景
Cosmos3は、ロボティクス、自動運転、工場規模を含むスマートスペースなどのPhysical AI向けに、物理世界の理解・シミュレーション・相互作用を支援するオムニモーダルなワールド基盤モデルプラットフォームです。テキスト、画像、動画、アクション軌跡の組み合わせから、動画・画像・音声・アクションコマンドを生成するモデル群で構成されます。
まだコメントはありません。