Transformers v5.20.0、Metaの816B「Muse Spark Open」など7モデルに対応

Hugging FaceはTransformers v5.20.0をリリースし、Metaの816BマルチモーダルMoE「Muse Spark Open」を含む7つの新モデルへの対応と、Dynamo・ONNX・OpenVINO・ExecuTorch向けのエクスポート時量子化を追加しました。あわせてcache API、kernels、configまわりの破壊的変更も入っています。

新たに対応したモデル

モデル	開発元	主な仕様
Muse Spark Open	Meta	MoE、総816B・活性42B/token、コンテキスト最大1,048,576 tokens、入力はテキスト・画像・音声・動画、BF16/NVFP4チェックポイント
Ling 3.0 Flash	InclusionAI	ハイブリッドMoE。KDA層5つとMLA層1つを組み合わせ、routed/shared expertsを併用
Kolibri 1	Aleph Alpha	ドイツ語・英語重視の推論MoE。50層、384専門家から6つへsigmoidルーティング+shared expert1つ。sliding-window 4層とfull attention 1層の交互構成
MiniCPM-V 4.7	OpenBMB	SigLIP+Qwen3.5バックボーン、4x/16x視覚ダウンサンプリング、新たにcanvas M-RoPE
UnlimitedOcr	Baidu	3B、32,768 tokens。DeepSeek OCRベースで全デコーダ注意をR-SWAに置換し、デコード中のKVキャッシュを一定に保つ
UltraBERT	—	双方向エンコーダ、最大32,768 tokens。UltraBERT-150M、UltraBERT-380M、UltraBERT-Embed-150M
MOSS-Transcribe-Diarize	—	0.9B。文字起こし・話者分離・タイムスタンプを単一パスで出力、50以上の言語

Muse Spark Openは、マルチファイル編集、デバッグ、ツール利用といったエージェント型コーディング向けに学習されています。NVFP4はNVIDIAがBlackwell向けに導入した低精度浮動小数点形式です。UnlimitedOcrは、KVキャッシュを一定に保つ構造によって数十ページを1回のforward passで書き起こせます。MiniCPM-V 4.7のcanvas M-RoPEは、視覚トークンに(temporal, height, width)の位置を割り当てます。

使い方と要件

• Ling 3.0 FlashはBailingHybridForCausalLMとしてネイティブ対応しており、trust_remote_code=Trueを指定せずに読み込めます。
• UnlimitedOcrには2つのモードがあります。gundamモードは640x640タイルと動的クロッピング、baseモードは単一の1024x1024ビューを使います。またUnlimitedOcrは領域検出とバウンディングボックスの出力に対応します。
• MOSS-Transcribe-Diarizeは、processor側のWhisper-window chunkingで長時間音声を処理でき、hotword biasingによるプロンプト付き文字起こしにも対応します。出力形式は[start][S01]text[end]です。
• エクスポート時の量子化は、PT2E・ONNX Runtime・NNCFの量子化器を統合した新しいAPIで設定します。静的・動的量子化と、重みのみのINT8/INT4圧縮を選べ、キャリブレーション手順も設定できます。

破壊的変更

• EP(expert parallel)を使った推論で速度低下が起きており、Hugging Faceは修正中としています。
• cache_utils.pyから非推奨のメソッドを削除しました(minimax_m3_vlやpi0などが影響を受けます)。これらを呼び出しているコードは現行のcache APIへ移行する必要があります。
• kernelsの最低バージョンを0.17.2に引き上げました。use_fallback=KernelizeFallback.ALLを指定すると、カーネルの読み込みに失敗したときに元の実装へフォールバックします。
• embedding_gemma2などで、他モデルからの誤ったimportを削除しました。該当する名前は元のモジュールからimportする必要があります。
• サブconfigの初期化をSubConfigSpecで一元化しました。独自のネストしたconfigは対応が必要になる場合があります。
• LUKE/mLUKEのトークナイザがエンティティ特殊トークンを特殊トークンとして扱うようになり、トークナイズとデコードの出力が以前と変わる可能性があります。

並列化・カーネル・キャッシュの改善

• FSDP × TPのモデルとoptimizerのチェックポイントを、異なる並列構成の間で保存・読み込みできるようになりました。
• static-cache generate()について、ホスト側入力を使う場合とTP下での不具合を修正しました。
• TPU上でのWhisper生成を高速化しました。
• 画像デコードをtorchcodecへ移行しました。
• ROCmでflash-attnが未インストールの場合、flash_attention_2はAITERカーネルにフォールバックします。
• T5系モデルが再びfused kernelsを使えるようになりました。
• Hubのrotary kernelは、backwardの勾配が誤っていたためCUDA推論時のみの使用に限定しました。
• Atlas InferenceのStrix Halo向けおよびGB10向けGated DeltaNetカーネルでtorch.compileを有効にしました。
• offloaded cacheのprefetchで起きていた競合と、Phi3 LongRoPEのキャッシュ再構築の問題を修正しました。