LLM17モデルの疼痛管理監査、1,386比較で人種・性別差は検出されず

arXivで公開された研究は、GPT、Claude、Gemini、Llama、DeepSeek、Qwenを含む17モデル・24構成を対象に、疼痛管理における人種・性別バイアスを反実仮想監査で検証し、1,386比較のいずれもfalse discovery rate補正後に差が残らなかったと報告しました。ただし同じ白人男性の参照患者が高用量オピオイドを受けた割合はモデルや設定によって6%から93%まで開き、患者間よりもモデル間・設定間の差のほうがはるかに大きい結果でした。

何を検証したか

研究の出発点は、人種・民族的マイノリティの患者が非ヒスパニック系白人の患者より少ない疼痛治療しか受けていないという問題です。医療AIとして使われるLLMがこのバイアスを再現する可能性があります。原文によると、先行する監査は少数のプロプライエタリモデルだけを対象とし、人種を明示的に記述し、モデル自身の回答の不安定さをほとんど測っていませんでした。本研究はこの3点を補う設計です。なお分析は探索的で、事前登録はしていません。

• Study 1: 4つのオープンウェイトLLMに6つの急性疼痛症例を評価させました。人種4種と性別2種のすべての組み合わせを用い、アイデンティティは明示する条件と、名前だけで示す条件(各グループ2つの名前)を設けました。各アイデンティティは、同一症例・同一サンプリングシードで白人男性の参照患者と比較しました。
• Study 2: 17モデルの24構成に、同じ症例と臨床医が作成したQ-Pain 50症例に回答させました。構成は推論のオン・オフと2種類の精度で分けています。対象にはOpenAIのGPT-4.1 miniとgpt-oss、AnthropicのClaude Haiku 4.5、GoogleのGemini 2.5 Flash、MetaのLlama、DeepSeek、Qwenが含まれます。

タスクは単一プロンプトで、出力をJSONに制約する形式です。

結果の数値

項目	結果
Study 1の補正後の差	残らず
Study 2の比較数	1,386(FDR補正後に残った差は0)
痛みの重症度の差(0-10尺度)	すべて1点以内でゼロと同等
Q-Pain比較で0.25点以内	237/238
Study 1のオピオイド判断で除外できない差	約20パーセントポイント
参照患者が高用量オピオイドを受けた回答割合	6%〜93%

オピオイド判断は精度が低く、著者らは「差が検出されなかった」ことを示すだけで、差が存在しない証明ではないとしています。補正後にモデル内で残った少数の差は、黒人患者に有利な方向でした。

モデル・設定間のばらつき

研究は、モデル同士の差や同一モデル内の設定(推論オン・オフ、精度)による差が、患者の人種・性別による差よりはるかに大きいと報告しています。ただしモデル間では提供ソフトウェア、プロバイダー、プロンプト形式も異なっていました。

著者らは臨床AIの公平性監査について、各グループで複数の名前を使うこと、同一シードでペア比較すること、ノイズフロアを報告すること、実際に配備する各構成を個別に検証することを提案しています。