DeidSharp、ローカル26B MoE LLMで看護記録のPHI再現率98.9%

arXivの論文は、ローカル26B mixture-of-experts LLMを決定論的検出器と臨床NER検出器に重ねたオープンソースの臨床テキスト非識別化ツールキットDeidSharpを評価し、看護記録でrecall-first構成がPHIの98.9%を検出したと報告しました。テキストをオフサイトへ送らずに、recall-firstとprecision-firstの2つの動作点を選べる点が特徴です。

何が新しいか

DeidSharpは、パターン検出器、臨床NERモデル、ローカル26B MoE LLMといったプラグイン可能な検出器の結果を統合し、いずれかの検出器でエラーが起きると処理をfail closedにします。論文によると主要な検出器はLLMで、NERは地名の検出を上乗せしました。

評価結果

比較対象はdeid、Philter、Stanford/Penn de-identifier、OpenAI Privacy Filter、GLiNERです。チューニング用半分で構成を固定し、事前規定プロトコルに従って報告用半分で評価し、患者単位のペアードブートストラップで信頼区間を出しています。

データ・構成	再現率	Stanford/Penn比
看護記録(889スパン)recall-first	98.9%	再現率+2.8pt(95% CI 1.4〜4.4)、適合率-9.3pt
看護記録 precision-first(NERなし)	96.5%	再現率は同等、適合率+19.6pt(83.2%)
退院要約(29,023スパン)recall-first	95.3%	再現率+21.5pt(95% CI 20.5〜22.4)

• 退院要約での差は、ほぼすべてが生成された型なしの人名に由来し、型付きラベルでは3構成すべてが99%超の再現率でした。
• 事前規定した4つの比較はすべて成立しました。
• いずれの構成も、deidのホームコーパスではdeidを有意に上回りませんでした。
• Philterは退院要約でrecall-first構成より多くのスパンを検出しましたが、適合率は23ポイント低くなりました。
• LLMに自身の検出結果を検証させると、真のPHIの約4分の1を破棄しました。

評価データには、PhysioNetの看護記録、半合成のMIMIC-IV-Note退院要約、合成ASQ-PHIクエリを使っています。

使い方・要件

• DeidSharpはオープンソースの.NETツールキットとして提供されます。
• パターン、臨床NER、ローカル26B MoE LLMの検出器を組み合わせて使います。
• recall-first構成とprecision-first構成を選択でき、precision-first構成はNERを使いません。
• 処理はローカルで完結し、テキストをオフサイトへ送信しません。

背景

比較対象のOpenAI Privacy Filterを提供するOpenAIは、GPTモデル群やコーディングエージェントのCodexを提供する企業です。