POPE評価、Yes/Noトークン選択でLLaVA-1.5-7BのF1が6.13ポイント変動

VLM幻覚ベンチマークPOPEを監査した論文によると、Yes/No判定に使うトークンIDの選び方だけで、LLaVA-1.5-7Bの敵対的分割F1が6.13ポイント変わります。著者らは、この交絡がモデル固有ではなく評価プロトコルに起因すると結論づけています。

何が見つかったか

著者らはPOPE上の幻覚抑制手法の再現を試みました。その過程で、測定したLLaVA-1.5-7Bの敵対的分割ベースライン(82.21 F1)が、比較予定だったベースライン(81.00、79.30、73.54)より1.21〜8.67ポイント高いことに気づき、評価コードを調べました。

評価コードの二トークンのlogit読み出しは、語彙ID 3582("yes")と 1217("no")を比較して判定していました。ところが3分割にまたがる9,000問の貪欲デコードでは、どちらのIDも一度も生成されませんでした。実際の出力は空白付きの " Yes"(3869)と " No"(1939)でした。プロンプト末尾の ASSISTANT: の後に、SentencePieceが空白バイトを付加するためです。

数値

空白付き表記を含む8トークンのルックアップで読み出した場合のLLaVA-1.5-7Bのスコアは以下のとおりです。

分割	F1
adversarial	0.8221
popular	0.8498
random	0.8713

敵対的分割での6.13ポイントの差は、著者らが調査した6本の論文のうち5本が報告する敵対的分割の改善幅を上回ります。6本のいずれも、どの読み出し方式を使ったかを記載していません。また著者らの参照評価は4-bit NF4量子化で実行したものです。そのため、読み出し方式と精度を揃えた場合に既報の改善幅がどれだけ残るかについて、著者らは判断を保留しています。

他モデルでの検証と追加分析

• 3つのトークナイザー系統にまたがる4つの追加VLMで、4種類の読み出し方式を比較しました。LLaVA-1.5のIDをそのまま流用すると、語彙が重ならない2モデルでF1が0.00になりました。各モデルのトークナイザーに基づく読み出しでは、F1は0.80〜0.92に収まりました。
• 修正後のベースラインに対して、著者ら独自の推論時補正を9種類試しましたが、いずれもベースラインを上回りませんでした。
• 3,000問を対象にした分析では、誤予測のほうが正解より画像への注意が強い結果になりました(Cohenのd=-0.46、p=1.4×10^-24)。これは、グラウンディングに基づく補正手法が前提とする仮定と逆の傾向です。

評価時の要件

• Yes/No判定には、対象モデルのトークナイザーが実際に生成する表記に対応する読み出しを使います。LLaVA-1.5-7Bの場合は、" Yes"(3869)と " No"(1939)を含む8トークンのルックアップを使います。
• LLaVA-1.5の語彙IDを、他のVLMの評価にそのまま流用しません。
• 評価結果を比較する際は、読み出し方式と推論精度を揃えます。