AMD Quark、Qwen3.8-Flash-Nextのn-gramテーブルを約1.3GBに置換

AMDはROCm Blogsで、AMD Quarkで専門家重みをAWQ UINT4に量子化したQwen3.8-Flash-Nextについて、約51 GBあるFP8 n-gramテーブルを約1.3 GBの校正済みトークン単位テーブル「U」に置き換えると、チェックポイント容量が約130 GBから約80 GBに下がることを示しました。この構成は128 GB統合メモリのRyzen AI Haloで動作を確認しています。

QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーです。

何を比較したか

Qwen3.8-Flash-Nextは、現在のトークンと直前1トークン(bigram)または直前2トークン(trigram)をハッシュして学習済みテーブルの行を選び、Layer 2に文脈依存のlookupベクトルを加えます。このテーブルはprefillとdecodeの両方で使います。記事では専門家重みをAWQ UINT4 g128(group size 128)に固定し、lookupを次の4通りで比較しました。

• 元のBF16 n-gramテーブル
• FP8 n-gramテーブル(文脈依存のまま低精度化)
• U:各トークンが直前トークンに関係なく固定ベクトルを1つ選ぶ校正済みテーブル(約1.3 GB)
• zero lookup:テーブルを割り当て・ロードせず、ゼロベクトルを供給

ストレージ容量

構成	チェックポイント容量	うちn-gramテーブル
元のBF16	約360 GB	約102 GB
AWQ UINT4+BF16テーブル	約181 GB	約102 GB
AWQ UINT4+FP8テーブル	約130 GB(約121 GiB)	約51 GB
AWQ UINT4+U	約80 GB	約1.3 GB

この数値はKVキャッシュとランタイムバッファを含みません。約130 GBではOS、KVキャッシュ、ランタイムバッファの余地が限られ、実際の利用可能量はシステム予約やメモリ割り当て設定に依存します。Ryzen AI Haloは統合メモリのため、テーブルをCPUメモリへ移しても同じ共有容量を消費します。

精度への影響

精度評価はAMD Instinct MI355X、テンソル並列サイズ1で、5回反復の平均(エラーバーは標準誤差)です。

MMLU-Pro(xhigh thinking, AWQ UINT4 g128)	スコア
BF16テーブル	87.79%
FP8 n-gram lookup	87.93%
U	86.72%
zero lookup	85.73%

• FP8 n-gram lookupは、完了した18個のAWQベンチマーク・プリセット組み合わせで元のBF16テーブル比 −1.53〜+1.01ポイントの変化で、対応する95%信頼区間はすべてゼロを含みます。ただし5シードでは同等性は確立できないとしています。
• thinking disabledのMMLU-Proではlookupへの依存が大きく、zero lookupによる低下はRTNで17.43ポイント、AWQで32.54ポイントでした。Uではそれぞれ1.61、2.12ポイントに縮まります。
• BFCL v4(ウェブ検索なしのカスタム集計)では、RTN xhighの総合が65.71%から65.54%とほぼ同じでも、non-liveカテゴリは78.98%から62.93%に下がりました(zero lookupは63.85%)。AWQの総合はUで67.50%から65.55%に低下しています。
• non-liveのparallel系タスクでzero lookupにより増えた失敗の70〜79%は呼び出し不足で、Uでは呼び出し不足が28〜43%、重複や余分な呼び出しも大きな割合を占めました。
• LiveCodeBenchはrelease_v6の131問(コンテスト日2025年2月1日〜5月1日)で評価しています。

背景と意味

記事は、FP8化と文脈情報の除去は異なる介入で、影響も異なると整理しています。xhigh thinkingでは集計スコアが近い一方、thinking無効時のコーディングやparallel tool callでは集計値に表れないトレードオフがあるとしています。比較対象として、DeepSeek-V4.1-FlashのEngramは長さ4までのトークン列を2層で使い、Gemma 4 E2B/E4Bは各デコーダ層にトークン固有の埋め込みを供給すると紹介しています。U適用のAWQ構成はTokenPLE AWQ UINT4のモデルカードで参照できるとしています。