OpenAIはAI契約業務ソフトウェア企業のIroncladと共同で、契約業務ワークフローでAIエージェントを訓練・評価し、Ironcladのタスクで訓練したGPT‑6 Astraが11タスク平均スコア55.0%を記録したと発表しました。GPT‑5.6 Sol(41.6%)比で平均スコアは32%高く、推定試行時間は48%短くなっています。
何が新しいか
OpenAIは、専門ソフトウェア上で企業の業務ルールを理解し、複数段階のワークフローを実行し、要件を満たしているか検証できるエージェントを目指しています。その研究のために少数のソフトウェア企業と直接提携しており、Ironcladが最初の提携企業です。GPT‑6 AstraはIroncladのタスクで訓練された最初のフロンティアモデルです。
Ironcladの従業員とOpenAI社内のIronclad利用者が、法務・商務・調達にまたがる11タスクを選定しました。秘密保持契約の設定、調達承認プロセスの作成、申請者が選択した法域に応じた再利用可能な法務条項の更新などが含まれます。経験ユーザーの想定所要時間は1タスク平均30〜40分です。
訓練と評価の方法
- Ironcladが自社製品のホスト型ソフトウェア環境を提供し、モデルはそこでタスクを練習しました。
- OpenAIの研究者は代表的なワークフローをもとに合成訓練タスクを作成し、強化学習で練習とフィードバックを通じて改善させました。
- 各タスクは複雑度に応じて8〜50項目の基準で判定し、モデルがどの部分を正しくこなし、どこで失敗したかを把握できるようにしました。
- 比較はそれぞれ最高スコアとなる設定で行い、AstraはMax reasoning、SolはHigh reasoningを使いました。
評価結果
| 項目 | GPT‑6 Astra | GPT‑5.6 Sol |
|---|---|---|
| 11タスク平均スコア | 55.0% | 41.6% |
| 推定平均試行時間 | 19.2分 | 37.0分 |
| 例示タスクの基準達成割合 | 約94% | 約85% |
| 例示タスクの推定時間 | 20分 | 32分 |
Astraの開発に使った内部モデルは、同じタスクで63.7%を記録しました。OpenAIはこの改善を今後のモデルに取り込むとしています。
提携の条件と背景
OpenAIは、現在のエージェントが確実にこなせない専門業務を持つソフトウェア企業を少数募集しています。応募には、エージェントに実行させたい具体例、失敗箇所の証拠、成功結果の判定方法の提示が必要です。加えて、業務を深く理解する人材、安全なテスト環境、研究に安全に利用できるデータを用意できることを求めています。
契約業務では例外を処理しながら業務ルールを維持する必要があり、エージェントが途中でルールを見失うとソフトウェア企業が任せられる範囲は限られます。OpenAIは、エージェントの性能が向上しても人間による監督と契約プラットフォームが重要だと説明しています。
まだコメントはありません。