SteerDistill、W4A16量子化エージェントをBF16の1ポイント以内に

SteerDistillは、フル精度教師モデルによる閉ループのステアリングでLLMエージェントを量子化する、量子化対応の知識蒸留手法です。5つのエージェント系ベンチマークと3モデルでの評価で、W4A16の平均スコアは最強の量子化ベースラインを1.67〜2.18ポイント上回り、BF16との差は1ポイント以内にとどまりました。

何が新しいか

著者らは失敗したロールアウトを調べ、量子化エージェントがタスク要件や環境条件を見落とし、フル精度の成功例から外れた環境遷移を生むことを確認しました。オフラインデータは学生の失敗文脈を含まない場合があり、学生自身のロールアウトにはその文脈での正しい応答が少ないため、この挙動のずれは修正しにくいとしています。SteerDistillでは、教師が失敗した文脈の中で学生に応答を修正させ、学生の実行結果からのフィードバックで指導を反復的に改善します。これにより局所的に検証済みの挙動修正が得られます。

学習の流れ

• フル精度教師が、量子化された学生の失敗応答の修正を導く
• 学生の実行結果からフィードバックを得て、教師の指導を反復改善する
• 学生をガイダンスなしで学習させ、修正されたターンではステアリング後の学生の予測に、それ以外のターンではフル精度教師の予測に一致させる

この内在化により、推論時は教師の支援なしで動作します。

評価結果

項目	結果
評価規模	5ベンチマーク × 3モデル
量子化方式	W4A16
最強の量子化ベースライン比(平均スコア)	+1.67〜2.18ポイント
BF16との差	1ポイント以内
τ^2-BenchでのQeRL比(成功率)	+1.84パーセントポイント
QeRL比のトレーニングGPU時間	67%削減

τ^2-Benchでは、量子化ベースラインより短い成功軌跡を生成した点も報告しています。