Anthropic が使用している ClaudeBot Web クローラーは、24 時間にわたって頻繁に iFixit Web サイトにアクセスし、同社の利用規約に違反しているようです。
iFixitの最高経営責任者（CEO）Kyle Wiens氏は、これはコンテンツの不正使用であるだけでなく、開発リソースも奪われたと述べた。これに対応して、Fixit はクローラーのアクセスを制限するために、robots.txt にクロール遅延拡張機能を追加しました。
iFixit に加えて、Read the Docs の共同創設者である Eric Holscher 氏と Freelancer.com CEO の Matt Barrie 氏も、Web サイトが Anthropic クローラーによって侵入されたと報告しました。
先月、Reddit の投稿では、Anthropic の Web スクレイピング活動が急激に増加したと報告されました。今年 4 月に発生した Linux Mint Web フォーラムのサイト停止も、ClaudeBot のクローリング活動が原因であると考えられていました。
OpenAI などの AI 企業の多くは、robots.txt ファイルを介したクローラー アクセスを拒否していますが、これでは Web サイト所有者に、どのクロール コンテンツを許可するか禁止するかを柔軟に定義するオプションが提供されません。別の AI 企業である Perplexity は、robots.txt の除外ルールを完全に無視していることが判明しました。
それでも、これは多くの企業が AI トレーニング教材にデータが使用されないようにするために必要な数少ない選択肢の 1 つであり、Reddit も最近 Web クローラーに対して対策を講じています。