推論VLAの理由文を保ったまま行動だけ変えるTNAS、衝突誘発52.6%

HF Daily Papersで紹介された論文「Say the Same, Act Differently」は、視覚的摂動によって推論VLAモデルの生成理由文を一語一句変えずに物理的行動だけを変えられることを示しました。運転向けのAlpamayoでは、TNAS誘導攻撃が全画像摂動で52.6%のシーンに新たな衝突を誘発しています。

何が新しいか

推論VLAは、監督者が読める自然言語の理由文と物理制御を組み合わせるモデルです。従来の攻撃は理由文そのものを壊すため、テキストに可視的な証拠が残りました。本研究はこれとは逆に、理由文を維持したまま行動だけを変更できることを示しています。

提案手法のtext-neutral action-subspace(TNAS)は、テキストと行動が共有するインターフェース上で、局所的に行動へ最も敏感で、かつテキスト損失勾配とはほぼ直交する方向を診断します。攻撃ではこの方向を利用します。対象モデルは運転向けのAlpamayoと操作向けのInstructVLAです。著者らは、この方向に沿って視覚摂動を誘導すると、画像入力からでも同じ乖離を引き起こせると報告しています。

診断結果の数値

項目	値
テキスト損失勾配とのノルム重なり(Alpamayo)	1.87%
テキスト損失勾配とのノルム重なり(InstructVLA)	5.28%
行動シフト(テキスト勾配摂動比)	4.64x〜47.8x
テキストドリフト(テキスト勾配摂動側が大きい倍率)	21.2x〜277x

比較はいずれも、両モデルで隠れ状態の摂動ノルムを揃えた条件で行っています。TNAS方向への介入は行動を大きく動かします。一方、テキスト勾配方向の摂動はテキストのほうを大きく変えます。

攻撃評価

Alpamayoの評価には、障害物アノテーション付きの運転シーン154件を用いています。表中の衝突割合は、理由文が一語一句同一のまま新たな衝突が起きたシーンの割合です。

条件(Alpamayo)	値
TNAS誘導・全画像摂動	52.6%
TNAS誘導・前方カメラ局所パッチ	35.1%
誘導なし行動攻撃	4.55%
理由文の完全一致保存率(テキスト保存ベースライン→TNAS)	83.0%→89.5%
教師強制テキストドリフト削減(同程度の衝突率で)	68.4%

InstructVLAでは、TNAS誘導によってテキストドリフトが40.5%減りました。応答の完全一致は85.0%の例で維持され、その状態で行動チャンクは1.73単位シフトしています。

意味

著者らは、理由文が変わらないことだけでは安全な行動の証明にならないと結論づけています。そのうえで、推論VLAの監視機構は予測された行動チャネルを直接検証する必要があると述べています。