Appleは、自己回帰型・2ステップの動画拡散モデル「FastFrames-S」(1.3B)と「FastFrames-L」(14B)の重みと公式実装をHugging Faceで公開しました。FastFrames-Sは1 GPU・480p・フルKVキャッシュの条件で、コンポーネント合計の総レイテンシーが35.4 ms(論文値36 ms)です。
何が新しいか
両モデルは480p動画をインタラクティブなレイテンシーで生成する、自己回帰型の2ステップ動画拡散モデルです。Appleは併せて、公式モデル比16倍高速で、カメラ条件による制御を滑らかに行えるLingBot 1.3Bの最適化版も公開しました。
FastFrames-Lは、Wan2.1-14B(Wan-AI/Wan2.1-T2V-14B)をCausal Forcing++の手順で2ステップの因果モデルへ蒸留し、その後ピクセルデコーダーとKVリファインメントネットワークを学習して構築しています。公開チェックポイントは、Wan2.1-14Bが生成した潜在表現で学習した因果教師モデル、整合性蒸留モデル、DMD蒸留モデル、最終ジェネレーター・ピクセルデコーダー・KVリファインメントネットワークのすべてです。FastFrames-Sは、フレーム単位の2ステップCausal Forcing++ジェネレーターを凍結し、その周辺のネットワークを学習しています。
レイテンシーと出力仕様
FastFrames-S(1 GPU、480p、フルKVキャッシュ)のコンポーネント別の例は次のとおりです。
| コンポーネント | 呼び出し回数 | レイテンシー |
|---|---|---|
| DiT評価 t=1000 | 1 | 16.1 ms |
| DiT評価 t=833 | 1 | 16.2 ms |
| KVリファインメント | 1 | 2.2 ms |
| ピクセルデコーダー | 1 | 0.9 ms |
| 合計 | 35.4 ms |
T2V生成の出力は832 × 480、81フレーム、16 fpsです。
動作要件と試し方
要件はLinux x86-64、NVIDIA GPU、CUDA 12.8互換ドライバーです。リポジトリルートでuv syncを実行し、チェックポイントガイドに従ってFastFramesとサードパーティーの重みをダウンロードします。
- T2V生成:
uv run python scripts/generate.py --model ff-s --checkpoint-dir checkpoints --prompt "A corgi surfing a wave at sunset" --seed 0 --output outputs/corgi.mp4(FastFrames-Lは--model ff-l) - レイテンシー計測:
uv run python evaluation/latency/benchmark.py ff-s、FastFrames-Lはuv run python evaluation/latency/benchmark.py ff-l --gpus 8 - LingBotデモ: デモ設定後に
CUDA_VISIBLE_DEVICES=0 uv run --extra lingbot --extra demo python apps/lingbot/demo.py --gpus 1、またはCUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 uv run --extra lingbot --extra demo python apps/lingbot/demo.py --gpus 8を実行し、http://localhost:8000を開く - プロジェクトページの動画(20本超):
uv run python scripts/generate_project_page.py --model ff-s --output-dir outputs/project_page/ff-s、またはuv run python scripts/generate_project_page.py --model ff-l --output-dir outputs/project_page/ff-l
VBenchのQuality / Semantic / Totalスコアを再現する評価ガイドも用意しています。
ライセンス
モデルのライセンスはapple-amlrです。FastFramesのコードはApple Sample Code License、LingBot-World v2のコードと重みは上流のCC BY-NC-SA 4.0に従います。

まだコメントはありません。