Cloudflare、AIクローラー対策の「コンテンツシグナルポリシー」を発表

Cloudflareは、管理型robots.txtサービスに無料で追加できる新機能「コンテンツシグナルポリシー」を発表しました。このポリシーは、ウェブサイト所有者や出版社がAI企業によるコンテンツへのアクセスや再利用をより細かく制御できるようにすることを目的としています。基本的な考え方はシンプルで、従来のrobots.txtではどのクローラーがサイトに入れるかを指定できますが、新しいポリシーではデータがアクセスされた後の使用方法を示すシグナルを追加します。シグナルは検索、AI入力、AI学習に関して、平易な言葉で「はい（許可）」「いいえ（不許可）」、シグナルなしは「特に指定なし」となります。これにより、サイト運営者はAIによるデータ利用をより明確に管理できるようになります。