AIボットがウェブスクレイピングで科学データベースを圧倒
AIボットによるウェブスクレイピングが科学データベースや学術ジャーナルに大きな影響を与え、サイトの利用不可能状態を引き起こしています
最新の更新
自動化されたプログラムが人工知能ツールのトレーニングデータを収集するために学術ウェブサイトを圧倒しています。2月、オンライン画像リポジトリ「DiscoverLife」は、数百万点の動植物の写真を提供しているサイトで、毎日何百万回ものアクセスを受け始めました。これは通常のトラフィック量を大きく上回るもので、時にはトラフィックの急増によってサイトの動作が遅くなり、最終的には使用不可能になることもありました。このような自動化されたプログラムは、ウェブサイトから大量のコンテンツを「スクレイピング」しようとするもので、学術出版社やジャーナル論文、データベースなどを運営する研究者たちにとって頭痛の種となっています。多くのボットトラフィックは匿名化されたIPアドレスから発信され、急激な増加により、ウェブサイトの運営者たちは、これらのウェブスクレイパーが生成AIツール、例えばチャットボットや画像生成ツールのトレーニングデータを収集しているのではないかと疑っています。