ThinkBit、2ビット化したQwen3 14Bを3.74 GBでMATH-500 94.8に

研究チームは、推論能力の維持を目的とした厳密なスカラー2ビット量子化フレームワーク「ThinkBit」を発表しました。Qwen3 14Bを3.74 GBまで圧縮し、MATH-500で94.8を記録しています(29.5 GBのbfloat16モデルは97.5)。

QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーで、モデルの重みを公開しています。

何が新しいか

原文によると、従来の2ビット手法はperplexityや多肢選択問題の正解率で評価されることが多く、これらの指標では、より難しい問題を推論し切れるかどうかがわかりません。ThinkBitは難しい問題での推論能力の維持を重視し、MATH-500で評価しています。各重みは、重みグループで共有するbfloat16スケールと整数コードワードの積として表現します。

結果

条件	サイズ	MATH-500
Qwen3-1.7B EfficientQAT(同じデータで学習)	同一サイズ	30.0
Qwen3-1.7B ThinkBit 再較正チェックポイント	0.52 GB	46.7
Qwen3-1.7B ThinkBit 推論トレースでのQAT後	0.52 GB	73.0
Qwen3 14B ThinkBit	3.74 GB	94.8
Qwen3 14B bfloat16	29.5 GB	97.5

Qwen3-1.7Bの0.52 GBモデルは、公開済みの同モデルの2-bit GGUFのどれよりも小さく、MATH-500の精度はそれらを上回ります。

手法の流れ

1. 感度指標で各層をternary、2-bit、3-bitのいずれかに割り当て、層間でビット幅を配分します。
2. 層ごとのGumbel-softmaxベースのスカラー量子化で、ブロック単位に最適なコードワードを探索します。
3. 層単位の手法では量子化済みの層同士の相互作用を捉えられないため、コードワードを固定したまま、教師モデルに対する知識蒸留ベースの損失でスケールを再較正します。
4. 短い量子化認識学習(QAT)でコードワードを再割り当てし、ベースモデルの分布を模倣させます。
5. 学習問題によるペア推論テストで、再較正段階とQAT段階のどちらを最終チェックポイントにするか選びます。

背景

推論言語モデルは1回答あたり数千トークンを生成し、生成速度はメモリ帯域幅に制限されます。原文は、重みをbfloat16ではなく2ビットで保存すれば、推論を8倍安くできる(コストを8分の1にできる)可能性があると述べています。