Nemotron-Labs-Diffusion-Uni(NLD-Uni)は、視覚理解と視覚生成を1つのモデルで扱う統合型の離散拡散大規模言語モデル(DLLM)です。論文は、視覚質問応答から画像編集までの各タスクで、統合型DLLMの中で最先端の性能を達成したと説明しています。
何が新しいか
論文は、従来の統合型拡散モデルに対する主な新規点として次の2つを挙げています。
- 統合クロスパラダイム・オンポリシー蒸留(OPD): 自己回帰型VLMの視覚理解能力と、連続フローモデルの視覚生成能力を、統合型DLLMへ移転するフレームワークです。
- 段階的な自己精錬型拡散プロセス: 従来のマスク拡散は、クリーンな画像トークンを情報を持たないマスクトークンへ直接破損させます。NLD-Uniはこれに代えて、学習時に各トークンを複数ステップかけて段階的に破損させます。
推論時の挙動
この拡散プロセスにより、NLD-Uniは推論時にトークンを途中で確定(intermediate commit)できます。論文によると、これによって段階的な自己精錬が可能になり、視覚品質が向上します。
評価対象タスク
論文が統合型DLLMの中で最先端の性能を示したとするタスクは次のとおりです。
| 区分 | タスク |
|---|---|
| 理解 | 視覚質問応答、マルチモーダル推論、物体グラウンディング |
| 生成 | テキスト画像生成、画像編集 |
まだコメントはありません。