OpenAI、法律特化のAstra for Lawを更新しLAB-AAで20.8%首位

OpenAIは、法律調査・推論向けに更新したAstra for Lawを公開し、Artificial AnalysisのLAB-AAで全要件達成率20.8%の首位を得たと発表しました。すべてのChatGPT Enterprise顧客がTrusted Access Program経由で、APIを含めアクセスを申請できます。

何が新しいか

Astra for Lawは、OpenAIの最新フロンティアモデルGPT‑6.2 Astraに、拡張した法律検索インデックスと、問題の調査・法源の比較評価・回答作成のための指示を組み合わせたモデル構成です。9月にCooley、Ropes & Gray、Sullivan & Cromwellなど少数の法律事務所向けに導入して以降、OpenAIは法的推論を改善し、検索インデックスを34%拡大しました。追加したURLは8,000万超で、英国・オーストラリア・カナダなど海外法域も含みます。インデックスは現在3億1,000万超のURLと、公開済み米国判例法の99.9%超をカバーします。

ベンチマーク結果

LAB-AAは、Harveyが作成した24分野・120件の課題で構成されます。全要件を満たし、出典資料に裏付けられない重大な主張をしない場合に満点となります。

指標(LAB-AA) Astra for Law 比較対象
全要件達成率 20.8% GPT‑6.2 Astra 15.0%、Muse Wonder Full 13.1%
平均出力トークン/課題 約64,000 Muse Wonder Full 139,000
material hallucinations/課題 0.03 Claude Opus 5.5 0.59
minor hallucinations/課題 0.06 Claude Opus 5.5 0.51

OpenAIによると、Muse Wonder Fullより約59%多く満点を取り、出力は54%少なく済んでいます。material hallucinationsはGPT‑6と並ぶ最低値で、通常のGPT‑6.2 Astra(0.06)の約半分です。

HarveyとGrubelが共同開発したLAB: USCL(米連邦訴訟の準備書面作成)では、自ら判例を調べる版で1,844(Opus 5.5は1,817)、判例が与えられる版で1,883(Opus 5.5は1,882)と実質同等でした。

Vals AIのLegal Research Bench(米国連邦法・州法の208問)では、11月16日の評価で112問(53.8%)に満点を得ました。9月の約46%から2か月足らずで約8ポイント上昇し、部分点込みでは90.9%を獲得しています。Harvey独自のLABでは、GPT‑6 Astraの4.6%、GPT‑6.2 Astraの14.6%に対し、法律構成では16.2%でした。

利用方法

  • ChatGPT Enterpriseの管理コンソールから、Trusted Access Programを通じてアクセスを申請します。
  • Trusted Access Programには、API経由のアクセスも含まれます。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内