AI学習への利用拒否、robots.txtで一括指定可能に！OpenAI・Googleなどが対応表明
AI学習への利用拒否、robots.txtで一括指定が可能に
米OpenAI、米Google、米Microsoftは、Webサイト運営者がAI学習へのコンテンツ利用に関する意向を複数のAI企業にまとめて伝えられる共通の仕組みに対応する方針をそれぞれ発表しました。米Anthropicも実装を進めています。この仕組みは、Anthropicの標準化担当者、ケビン・ケリー氏がIETF（Internet Engineering Task Force）に提出したInternet-Draft（インターネット標準の草案）で提案されています。
何が変わるのか？
これまでWebサイト運営者は、AI企業ごとにクローラーを識別し、それぞれに合わせてルールを書き分ける必要がありました。新しい仕組みでは、Webサイトへのクローラーのアクセスを制御する「robots.txt」に共通のシグナルを記述することで、複数のAI企業に学習への利用を拒否または許可する意向を一括して伝えられるようになります。IETFのAI Preferences（AIPREF）ワーキンググループでの議論を基にしたもので、OpenAIは、各社が共通のシグナルに対応することで運営者の負担を軽減できるとしています。
ドラフト「Machine-Readable Training Preference Signal」では、robots.txtの「User-Agent」行に「__usage_ai-training」というポリシートークンを指定します。このトークンの下で「Disallow」はAI学習への利用を拒否する意向、「Allow」は許可する意向を示します。例えば「User-Agent: __usage_ai-training」の下に「Disallow: /」と「Allow: /press-kit/」と記述すれば、/press-kit/以下を除く全てのパスについて、学習に使わないよう求める意思表示になります。
この指定は従来のクロール制御とは独立しており、コンテンツのクロール自体を禁止するものではありません。クロールを制限したい場合は、引き続き各クローラー向けのルールを使います。共通トークンを指定しなければ、AI学習について特に意向を表明していないと解釈されます。新しいディレクティブや文法を導入しないため、既存の解析プログラム（パーサー）の動作には影響しないとされています。
対象とする「AI学習」は、生成AIモデルの学習済みパラメータを変更するためにコンテンツを利用することと定義されており、生成以外の用途だけに使うモデルの学習は含まれません。また、各企業が独自に提供する制御手段を共通シグナルより優先させたり、個別契約に基づいて異なる取り扱いをしたりすることも認めています。
各社の対応予定
- OpenAI: 今後数カ月以内の対応を目指し、実装時に詳細を改めて公表するとしています。robots.txtによる既存のクローラー制御は引き続き適用します。
- Google: 他のAI企業とともに2027年の対応を目指します。Webサイトが共通シグナルでAI学習への利用を拒否し、かつ同社独自の制御手段「Google-Extended」を明示的に指定していない場合は、Google-Extendedによる利用も拒否したものとして扱う方針です。Google-Extendedは、同社が2023年から提供しているAI学習向けの制御手段で、共通シグナルの導入後も引き続き利用できます。
- Microsoft: 2027年2月1日から、Webページをクロールする際に新しい設定を読み取り、適用を開始します。共通シグナルに加え、AI学習への利用の可否をmetaタグやHTTPヘッダでページ単位でも指定できるようにし、これらをrobots.txtの設定より優先させます。さらに、AIの回答生成時にWebコンテンツを参照するグラウンディングについても、独自のページ単位の制御を導入します。「Disallow」で利用を拒否できるほか、「DisallowExtended」も指定できます。新設定は従来の「NoArchive」「NoCache」に代わるもので、Microsoftはこれらを利用しているサイトに対し、2027年3月1日までに新しい設定へ移行するよう求めています。
- Anthropic: ケリー氏がAIPREFのメーリングリストで、同社が既にドラフトへの対応実装を始めたと報告しています。ただし、Anthropicのサービス全体に対応を広げるには時間がかかるとしています。
