OpenAI、EU AI Act対応でテキスト透かしtextGrainを段階提供

OpenAIは、EU AI Actへの対応としてテキスト透かし技術textGrainの段階的な提供方針を発表しました。400トークンの文章では偽陽性率1%の条件で約95%を検出できる一方、単語の25%を同義語に置き換えると検出率は約17%まで下がります。

OpenAIはGPTモデル群やコーディングエージェントのCodexを提供し、開発者向けAPIも公開している企業です。

何が新しいか

EU AI Actは、生成AI提供者に対し、生成テキストを機械可読な方法で識別できるようにすることを求めています。OpenAIはこの要件と技術の限界の両方を踏まえ、提供範囲を段階的に広げる方針をとりました。

  • API: 本日から、世界中のAPI顧客が対象モデル(select models)でテキスト透かしをオプトインできます。デフォルトはオフのままです。クラウドパートナー経由で利用するOpenAIモデルの出力についても、今後数週間で透かしを使えるようにする準備を進めています。
  • ChatGPT・Codex: 今後数週間で、EU内の全プランを対象に、対象となるテキスト出力へ不可視の透かしを追加します。グローバルのデフォルトにはしません。
  • 検出器: 本日から利用申請を受け付けます。ただし当初は、Code of Practiceに沿って承認済みの研究者と専門組織に限り、ケースバイケースで許可します。一般公開はしません。
  • 画像・音声: openai.com/verifyとContent Provenance APIによる画像・音声の検証ツールは、引き続き組織向けに公開されます。

textGrainの仕組みと検出性能

textGrainは、モデルの単語選択に不可視の統計的信号を加えます。検出器はこの信号を探して、文章にOpenAIの透かしが含まれるかを判定します。OpenAIによると、評価ではSynthID for textを含む他の方式と同等以上の性能を示しました。技術レポートは今後数週間で追記される予定で、OpenAIはオープンソースでの公開も計画しています。

検出性能の評価には、ELI5データセットの質問への透かし入り英語応答を使っています。

条件 検出率
200トークン(偽陽性率1%、心理学など) 約80%
400トークン(偽陽性率1%、心理学など) 約95%
400トークン、10%の単語を同義語置換 約92% → 66%
400トークン、25%の単語を同義語置換 約17%

数学のように単語選択の自由度が低い内容では、検出率は大幅に下がります。OpenAIは、短い文章や編集・翻訳された文章で信頼性が落ちることを、検出器を限定提供にする理由として挙げています。

出力品質への影響

OpenAIは最新のフロンティアモデルAstra(max)で、透かしの有無による意味のある性能差は見られないとしています。

ベンチマーク 透かしなし 透かしあり
Artificial Analysis Intelligence Index 49.57 points 49.76 points
AutomationBench 34.09% 34.86%
DeepSWE v1.1 72.80% 71.68%
Terminal-Bench 4.0 53.90% 56.06%
Terminal-Bench Science 0.1 56.90% 60.00%
BrowseComp 87.92% 87.35%
HealthBench Professional 64.27% 64.60%
GPQA Diamond 94.44% 93.94%

透かしが示さないこと

検出器は、OpenAIの透かしを検出したかどうかだけを報告します。ユーザー、プロンプト、会話を特定したり開示したりはしません。OpenAIは、透かしが次の点を示すものではないと説明しています。

  • 人間がどれだけ貢献したか
  • 文章の所有権や責任の所在
  • 利用者の身元
  • 内容の正確性

また、透かしが検出されないことは、人間が書いた証明にはなりません。文章が短すぎる、編集や翻訳がされている、非対応のモデルで生成された、透かし導入前に生成された、他社ツールで生成された、といった場合が考えられます。OpenAIは、技術・標準・証拠の進展に応じてこの方針を見直し、結果を責任ある形で解釈できると判断した時点で検出器のアクセスを広げるとしています。

この記事の固有名詞

コメント (0)

まだコメントはありません。

コメントを書く

2000文字以内