CECAR、16GB VRAMでQwen3-30B-A3Bを12.5 tokens/s

CECAR(Cache & Expert Co-Aware Routing)は、キャッシュ管理とエキスパートルーティングを協調させるオンデバイスMoE推論システムです。arXivの論文によると、VRAM 16 GBのコンシューマー向けGPUでQwen3-30B-A3Bを12.5 tokens/sで動かし、従来のMoE推論比で4.5倍の高速化を達成しています。QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーで、密な構造と専門家混合型のモデルを提供しています。

何が新しいか

従来のキャッシュ認識型ルーティングは、エキスパートがキャッシュにあるか否かの二値情報だけでルーティングを決めていました。CECARはMLベースのキャッシュポリシーで各エキスパートの予測再利用距離を推定し、予測再利用距離が小さいエキスパートを優先してルーティング・実行します。ルーティングとキャッシュ管理を共同で扱う点が従来手法との違いです。

評価結果

項目 値
モデル Qwen3-30B-A3B
GPU コンシューマー向け、VRAM 16 GB
非常駐エキスパート SSDから取得
デコード速度 12.5 tokens/s
従来のMoE推論比 4.5x

論文は、この速度がモデル全体をDRAMに常駐させるベースラインのデコード速度も上回ると述べています。

試し方

コードはhttps://github.com/hoonki2002/CECARで公開されています。

背景

大規模MoEモデルは、エキスパートの活性化が疎であっても全エキスパートの重みをメモリに常駐させる必要があり、リソース制約のあるデバイスでは実用が難しいとされます。論文はオンデバイスMoE推論について3つの観察を挙げています。(a) Beladyの最適ポリシーでもキャッシュヒット率には根本的な上限がある、(b) その上限では低遅延推論に不十分、(c) 二値のキャッシュ在否に基づく従来のキャッシュ認識型ルーティングはルーティング不安定性を招き得る、という3点です。CECARはこれらを踏まえて設計されています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内