Apple、動画拡散モデルFastFrames-S/Lを公開 1GPUで35.4ms

スペック

総パラメータ14B
ライセンスapple-amlr
重みの公開公開チェックポイント
4bit量子化の目安メモリ約8.4GB(16GB以上のメモリで実行可能な目安)

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Appleは、自己回帰型・2ステップの動画拡散モデル「FastFrames-S」(1.3B)と「FastFrames-L」(14B)の重みと公式実装をHugging Faceで公開しました。FastFrames-Sは1 GPU・480p・フルKVキャッシュの条件で、コンポーネント合計の総レイテンシーが35.4 ms(論文値36 ms)です。

何が新しいか

両モデルは480p動画をインタラクティブなレイテンシーで生成する、自己回帰型の2ステップ動画拡散モデルです。Appleは併せて、公式モデル比16倍高速で、カメラ条件による制御を滑らかに行えるLingBot 1.3Bの最適化版も公開しました。

FastFrames-Lは、Wan2.1-14B(Wan-AI/Wan2.1-T2V-14B)をCausal Forcing++の手順で2ステップの因果モデルへ蒸留し、その後ピクセルデコーダーとKVリファインメントネットワークを学習して構築しています。公開チェックポイントは、Wan2.1-14Bが生成した潜在表現で学習した因果教師モデル、整合性蒸留モデル、DMD蒸留モデル、最終ジェネレーター・ピクセルデコーダー・KVリファインメントネットワークのすべてです。FastFrames-Sは、フレーム単位の2ステップCausal Forcing++ジェネレーターを凍結し、その周辺のネットワークを学習しています。

レイテンシーと出力仕様

FastFrames-S(1 GPU、480p、フルKVキャッシュ)のコンポーネント別の例は次のとおりです。

コンポーネント 呼び出し回数 レイテンシー
DiT評価 t=1000 1 16.1 ms
DiT評価 t=833 1 16.2 ms
KVリファインメント 1 2.2 ms
ピクセルデコーダー 1 0.9 ms
合計 35.4 ms

T2V生成の出力は832 × 480、81フレーム、16 fpsです。

動作要件と試し方

要件はLinux x86-64、NVIDIA GPU、CUDA 12.8互換ドライバーです。リポジトリルートでuv syncを実行し、チェックポイントガイドに従ってFastFramesとサードパーティーの重みをダウンロードします。

  • T2V生成: uv run python scripts/generate.py --model ff-s --checkpoint-dir checkpoints --prompt "A corgi surfing a wave at sunset" --seed 0 --output outputs/corgi.mp4(FastFrames-Lは--model ff-l)
  • レイテンシー計測: uv run python evaluation/latency/benchmark.py ff-s、FastFrames-Lはuv run python evaluation/latency/benchmark.py ff-l --gpus 8
  • LingBotデモ: デモ設定後にCUDA_VISIBLE_DEVICES=0 uv run --extra lingbot --extra demo python apps/lingbot/demo.py --gpus 1、またはCUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 uv run --extra lingbot --extra demo python apps/lingbot/demo.py --gpus 8を実行し、http://localhost:8000を開く
  • プロジェクトページの動画(20本超): uv run python scripts/generate_project_page.py --model ff-s --output-dir outputs/project_page/ff-s、またはuv run python scripts/generate_project_page.py --model ff-l --output-dir outputs/project_page/ff-l

VBenchのQuality / Semantic / Totalスコアを再現する評価ガイドも用意しています。

ライセンス

モデルのライセンスはapple-amlrです。FastFramesのコードはApple Sample Code License、LingBot-World v2のコードと重みは上流のCC BY-NC-SA 4.0に従います。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内