MoMoVL、MoE型VLMのメモリを最大15.44%削減する混合精度量子化

スペック

配布形式・量子化混合精度量子化

メモリの目安はパラメータ数×0.6バイトの概算で、実際はコンテキスト長と実装で変わります

arXivで公開された論文は、MoEベースのオンデバイス視覚言語モデル(VLM)向けのモダリティ対応適応圧縮フレームワーク「MoMoVL」を提案しました。均一精度ベースラインに対し、精度の低下を控えめに抑えながらメモリフットプリントを最大15.44%削減したと報告しています。

何が新しいか

従来もエッジでのMoE推論効率化に量子化を適用する研究はありましたが、論文はMoEベースのVLMでは視覚トークンとテキストトークンのモダリティ固有の特性がエキスパート量子化にさらに影響すると指摘しています。エキスパート間でモダリティに起因する差異が生じるという実験的知見をもとに、MoMoVLはエキスパートごとの活性化プロファイルとモダリティごとの量子化感度を共同で利用して、混合精度量子化のビット幅を割り当てます。

結果

項目 内容
比較対象 最先端の混合精度ベースライン
精度と圧縮のトレードオフ 上記ベースラインより改善
メモリフットプリント削減 最大15.44%(均一精度ベースライン比)
精度 均一精度ベースライン比で控えめな低下

試し方

sco-edgeがコードとデータを https://github.com/sco-edge/MoMoVL で公開しています。

背景

論文は、エージェント型ウェブの広がりに伴い、クロスモーダルなウェブタスクをプライバシー向上と低遅延で実行できるオンデバイスVLMの需要が高まっていると述べています。一方でMoEは計算効率の高いスケーリング手段として現代のVLMで広く採用されているものの、複数エキスパート構成が大きなメモリ需要を生み、デプロイの障壁になります。混合精度量子化はエッジデバイスごとに異なるハードウェア予算に適応でき、エキスパート間の重要度が不均衡になるMoEの構造的スパース性と相性が良い、というのが論文の立場です。

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内