Transformersのエキスパート・ストリーミング、32GB MacでStrataの約6%以内に

スペック

重みの公開dense weightsと量子化エキスパートを含む変換済みリポジトリ
配布形式・量子化エキスパートは3ビット、dense layersは8ビット。Strata比較ではIQ3_XXSエキスパートも使用

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

Tarek Ziadé氏はHugging Face Blogで、TransformersにMoEエキスパートをSSDからストリーミングする実装を加え、32GB統合メモリのMacBook M5でQwen3.8-Flash-Nextを短文デコード13.9 tok/sで動かした結果を公開しました。比較対象のMoE推論エンジンStrata(14.8 tok/s)との差は約6%で、4Kプロンプトのプリフィルでは228 tok/sとなり、Strataの220 tok/sを上回りました。

QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーです。

何が新しいか

MoEモデルではエキスパートが重みの90%以上を占めます。この実装はホットなエキスパートだけをデバイス上のキャッシュに置き、残りをディスクから読み込みます。キャッシュは全層共有の事前確保テンソル(スロットプール)とし、ルーターのエキスパートIDをスロットに再マップすることで、既存のgrouped_mmをそのまま使います。キャッシュミスは8本のI/Oスレッドがエキスパートごとに1回の連続読み出しで処理し、次の2層のルーターを先行実行して先読みするエキスパートを予測します。

原文によると、従来のTransformers + Accelerateのオフロードはモジュール単位で重みをGPUへコピーするため、MoEでは1トークンごとにオフロード層の全エキスパートをコピーし、キャッシュもルーティングの概念も持ちません。

仕様・数値

Qwen3.8-Flash-Nextは48層×512エキスパート(各トークンで10個が有効)、FP8でエキスパート容量121GBです。加えて51GBのn-gram埋め込みテーブルがあり、これもディスクに置いて必要な行だけ読みます。

項目 値
エキスパート(3ビット量子化後) 49 GB(ディスク)
デバイス上のエキスパートキャッシュ 12 GiB
dense layers 8ビット(約5.4GB、BF16比perplexity +0.2%)
ロード後の使用メモリ 約18 GiB
6Kプロンプト時のピーク 25.4 GiB
変換所要時間 約5時間

同じM5・同じプロンプトでの比較結果(Strata 0.1.60はIQ3_XXSエキスパート使用)は次のとおりです。

条件 Transformers(初版) Transformers(最終) Strata
デコード、200トークン 10.0 tok/s 13.9 tok/s 14.8 tok/s
プリフィル、4Kプロンプト 68 tok/s 228 tok/s 220 tok/s
6K文書後のデコード 7.3 tok/s 12.4 tok/s 13.7 tok/s

実行条件はgreedy、thinking・MTP・speculative draftsは無効、プリフィルチャンク1,024トークンです。

改善の内訳として、MPSでのGPU処理の早期コミット(+10%)、Gated DeltaNetとhyper-connections用のMetalカーネル、StrataのGGUF重みへの切り替え(denseの1トークンあたり転送量を5.4GBから3.9GB、エキスパート1個を2.15MBから1.75MBに削減)、大きなチャンクと次層エキスパートの先読みによるプリフィル高速化、インプレースで伸びるKVキャッシュなどを挙げています。残る差の大半は1トークンあたり約10msのホスト往復だとしています。

試し方・要件

TransformersをPRからインストールします。

pip install "git+https://github.com/huggingface/transformers.git@refs/pull/50717/head"

変換済みリポジトリtarekziade/Qwen3.8-Flash-Next-expert-streamingをsnapshot_downloadで取得し、from_pretrainedで{path}/denseを読み込みます。主な指定は次のとおりです。

  • device_map={"": "mps", "experts.*": "disk"}
  • quantization_config=MetalConfig(bits=8)
  • experts_offload={"cache_bytes": 12 << 30, "quantized_experts": f"{path}/experts-q3"}

n-gramテーブルとMetalカーネルなどモデル固有の部分は、PR上のパッケージmoe-expert-streamingが担います。6Kプロンプトではメモリが限界に近く、ブラウザを閉じないとmacOSがスワップを始めます。APIはTransformersのメンテナと議論中で、量子化エキスパートは#50245の層別量子化プランに統合される可能性があります。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内