論文、蒸留防御は強化学習の追加訓練で破られると報告

HF Daily Papersで公開された論文「Distillation Defenses Easily Break After Reinforcement Learning」は、蒸留の直後だけでなく蒸留後に強化学習を追加する脅威モデルで評価すると、既存の蒸留防御が容易に破られ得ることを示しました。

何が新しいか

蒸留攻撃は、クローズドソースの大規模言語モデルから大量の推論トレースを体系的に収集し、それを使って攻撃者が自前のモデルを低コストで訓練する手法です。論文は、既存の蒸留防御が通常は蒸留の直後に評価されており、攻撃者がそれ以上モデルを訓練しないことを暗黙に仮定している点を問題視しています。より現実的な脅威モデルは、蒸留後の強化学習による追加訓練を含むというのが論文の主張です。

脅威モデルの誤設定は誤った安心感を与えると論文は述べています。蒸留直後には有効に見える防御であっても、その後の強化学習によって破られる場合があるためです。実務的には、強化学習は蒸留攻撃が有効になるためのハードルを下げると位置づけています。

示された結果と防御の限界

項目	論文の記述
攻撃の成立条件	現在のAPIから容易に取得できるデータのみで、既存のクローズドソース言語モデルから推論能力を盗める
単純な攻撃の効果	完全な隠れ推論トレースを抽出する高度な攻撃と同等の推論能力向上
防御の限界	近似的な推論トレースを再構成できるだけの情報を漏らす蒸留防御は、効果がない可能性が高い
有望な方向	バッチレベルの蒸留防御

論文は結論部で、より広範な含意と、より有効となり得るバッチレベルの蒸留防御を議論しています。