Perplexity、ウェブサイトのブロックを回避するために「ステルス」クローラーを使用とCloudflareが指摘

AIスタートアップのPerplexityは、公式のボットがアクセスを拒否されたウェブサイトからコンテンツを取得するために、未宣言のウェブクローラーを使用していると、Cloudflareが月曜日に公開した報告書で述べています。Perplexityの公式クローラーがrobots.txtによる制限やネットワークブロックに遭遇すると、同社はmacOS上で動作する「Chrome/124.0.0.0 Safari/537.36」というユーザーエージェントを偽装したMozillaのクローラーに切り替えて、制限を回避しているとのことです。

この行為は、特定のウェブサイトがそのボットのアクセスをブロックすることを意図して設定した制限を回避するために行われており、今後さらに議論を呼びそうです。