Tarek Ziadé氏はHugging Face Blogで、TransformersにMoEエキスパートをSSDからストリーミングする実装を加え、32GB統合メモリのMacBook M5でQwen3.8-Flash-Nextを短文デコード13.9 tok/sで動かした結果を公開しました。比較対象のMoE推論エンジンStrata(14.8 tok/s)との差は約6%で、4Kプロンプトのプリフィルでは228 tok/sとなり、Strataの220 tok/sを上回りました。
QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーです。
何が新しいか
MoEモデルではエキスパートが重みの90%以上を占めます。この実装はホットなエキスパートだけをデバイス上のキャッシュに置き、残りをディスクから読み込みます。キャッシュは全層共有の事前確保テンソル(スロットプール)とし、ルーターのエキスパートIDをスロットに再マップすることで、既存のgrouped_mmをそのまま使います。キャッシュミスは8本のI/Oスレッドがエキスパートごとに1回の連続読み出しで処理し、次の2層のルーターを先行実行して先読みするエキスパートを予測します。
原文によると、従来のTransformers + Accelerateのオフロードはモジュール単位で重みをGPUへコピーするため、MoEでは1トークンごとにオフロード層の全エキスパートをコピーし、キャッシュもルーティングの概念も持ちません。
仕様・数値
Qwen3.8-Flash-Nextは48層×512エキスパート(各トークンで10個が有効)、FP8でエキスパート容量121GBです。加えて51GBのn-gram埋め込みテーブルがあり、これもディスクに置いて必要な行だけ読みます。
| 項目 | 値 |
|---|---|
| エキスパート(3ビット量子化後) | 49 GB(ディスク) |
| デバイス上のエキスパートキャッシュ | 12 GiB |
| dense layers | 8ビット(約5.4GB、BF16比perplexity +0.2%) |
| ロード後の使用メモリ | 約18 GiB |
| 6Kプロンプト時のピーク | 25.4 GiB |
| 変換所要時間 | 約5時間 |
同じM5・同じプロンプトでの比較結果(Strata 0.1.60はIQ3_XXSエキスパート使用)は次のとおりです。
| 条件 | Transformers(初版) | Transformers(最終) | Strata |
|---|---|---|---|
| デコード、200トークン | 10.0 tok/s | 13.9 tok/s | 14.8 tok/s |
| プリフィル、4Kプロンプト | 68 tok/s | 228 tok/s | 220 tok/s |
| 6K文書後のデコード | 7.3 tok/s | 12.4 tok/s | 13.7 tok/s |
実行条件はgreedy、thinking・MTP・speculative draftsは無効、プリフィルチャンク1,024トークンです。
改善の内訳として、MPSでのGPU処理の早期コミット(+10%)、Gated DeltaNetとhyper-connections用のMetalカーネル、StrataのGGUF重みへの切り替え(denseの1トークンあたり転送量を5.4GBから3.9GB、エキスパート1個を2.15MBから1.75MBに削減)、大きなチャンクと次層エキスパートの先読みによるプリフィル高速化、インプレースで伸びるKVキャッシュなどを挙げています。残る差の大半は1トークンあたり約10msのホスト往復だとしています。
試し方・要件
TransformersをPRからインストールします。
pip install "git+https://github.com/huggingface/transformers.git@refs/pull/50717/head"
変換済みリポジトリtarekziade/Qwen3.8-Flash-Next-expert-streamingをsnapshot_downloadで取得し、from_pretrainedで{path}/denseを読み込みます。主な指定は次のとおりです。
device_map={"": "mps", "experts.*": "disk"}quantization_config=MetalConfig(bits=8)experts_offload={"cache_bytes": 12 << 30, "quantized_experts": f"{path}/experts-q3"}
n-gramテーブルとMetalカーネルなどモデル固有の部分は、PR上のパッケージmoe-expert-streamingが担います。6Kプロンプトではメモリが限界に近く、ブラウザを閉じないとmacOSがスワップを始めます。APIはTransformersのメンテナと議論中で、量子化エキスパートは#50245の層別量子化プランに統合される可能性があります。

まだコメントはありません。