Perayap web ClaudeBot yang digunakan oleh Anthropic sering mengunjungi situs web iFixit selama 24 jam, tampaknya melanggar ketentuan penggunaan perusahaan.
CEO iFixit Kyle Wiens mengatakan bahwa ini bukan hanya penggunaan konten yang tidak sah, tetapi juga menghabiskan sumber daya pengembangan mereka. Menanggapi hal ini, Fixit telah menambahkan ekstensi penundaan perayapan ke robots.txt untuk membatasi akses perayap.
Selain iFixit, salah satu pendiri Read the Docs Eric Holscher dan CEO Freelancer.com Matt Barrie juga melaporkan bahwa situs web mereka diserang oleh crawler Anthropic.
Pada bulan-bulan sebelumnya, postingan Reddit melaporkan peningkatan tajam dalam aktivitas web scraping Anthropic. Pada bulan April tahun ini, penghentian situs di forum web Linux Mint juga disebabkan oleh aktivitas perayapan ClaudeBot.
Banyak perusahaan AI seperti OpenAI menolak akses perayap melalui file robots.txt, namun hal ini tidak memberikan pilihan kepada pemilik situs web untuk secara fleksibel menentukan konten perayapan apa yang diperbolehkan dan dilarang. Perusahaan AI lainnya, Perplexity, ditemukan sepenuhnya mengabaikan aturan pengecualian robots.txt.
Namun, ini adalah salah satu dari sedikit opsi yang dimiliki banyak perusahaan untuk melindungi data agar tidak digunakan untuk materi pelatihan AI, dan Reddit juga baru-baru ini mengambil tindakan terhadap perayap web.