Qwen3小型モデルで量子化と選択肢順序平均の予算配分を比較、6ビットが分岐点

arXivで公開された研究は、Qwen3-0.6BとQwen3-1.7Bを対象に、固定の推論予算を重みの量子化ビット数に使うか、回答選択肢の順序平均に使うかを比較しました。結論は「6ビット重みを使い、残りの予算を最大4つの選択肢順序へ各1パスずつ配分する」です。4ビットではQwen3-0.6Bの回答スロット偏りが0.15から0.53へ上がり、4つの巡回順序を平均すると+12.6ポイント回復しました。

QwenはAlibaba Cloudが開発する大規模言語モデルのファミリーで、重みを公開しています。

何を検証したか

研究の問いは2つです。低ビット重み量子化が回答選択肢の順序依存性を悪化させるか、そして固定予算を精度ビット数と順序平均のどちらに使うほうが安いか、です。著者はタイトルレベルの検索で、量子化と選択肢順序を同時に扱った先行研究は見つからなかったとしています。

実験条件

項目	内容
モデル	Qwen3-0.6B、Qwen3-1.7B
量子化	round-to-nearest(シミュレーション)で8、6、4、3ビット、fp16参照
データセット	ARC-Easy、ARC-Challenge、MMLU、HellaSwag(各300問)
評価方法	選択肢A〜Dの文字のロジットを読む
コスト単位	重みの読み出しバイト数×パス数(機械に依存しない単位)

主な数値

指標	Qwen3-0.6B	Qwen3-1.7B
6ビットのfp16比	+1.8pt(+1.0〜+2.5)	+0.9pt(+0.3〜+1.5)
8ビットのfp16比	-0.7pt(-1.1〜-0.3)	-0.4pt(-0.7〜-0.2)
4ビット時の回答スロット偏り	0.15→0.53	0.07→0.12
同一重みSNRのガウスノイズでの偏り	0.15、0.37(2回サンプル)	0.19(1回サンプル)
4巡回順序平均の回復幅	4ビットで+12.6pt(fp16で+5.3pt)	—

6ビットがfp16を上回る理由について、著者は説明していないと述べています。回答が反転する率は量子化で上がりますが、精度を揃えた独立一様誤差のベースラインは下回りました。ガウスノイズ対照の結果から、丸めが同出力のノイズ以上にスロット偏りを加えるかは結論できていません。

予算配分の結論と範囲

コストを揃えた比較では、追加の順序平均が追加ビットを上回るのは重みが6ビット以上の場合に限られました。判断表は「6ビット重み+残り予算で最大4順序、各1パス」に集約されます。実験はすべて2つの小規模モデルと最も単純な量子化器によるシミュレーションです。