Веб-сканер ClaudeBot, используемый Anthropic, часто посещал веб-сайт iFixit в течение 24 часов, что, по всей видимости, нарушало условия использования компании.
Генеральный директор iFixit Кайл Винс заявил, что это не только было несанкционированным использованием контента, но и отняло у них ресурсы на разработку. В ответ на это компания Fixit добавила в файл robots.txt расширение задержки сканирования, чтобы ограничить доступ сканеров.
Помимо iFixit, соучредитель Read the Docs Эрик Холшер и генеральный директор Freelancer.com Мэтт Барри также сообщили, что их сайты были атакованы сканером Anthropic.
В предыдущие месяцы сообщения на Reddit сообщали о резком увеличении активности Anthropic по парсингу веб-страниц. В апреле этого года сбой на сайте веб-форума Linux Mint также был связан с активностью сканирования ClaudeBot.
Многие компании, занимающиеся искусственным интеллектом, такие как OpenAI, запрещают доступ сканерам через файлы robots.txt, но это не дает владельцам веб-сайтов возможности гибко определять, какой контент разрешен, а какой запрещен. Другая компания, занимающаяся искусственным интеллектом, Perplexity, полностью игнорирует правила исключения файла robots.txt.
Тем не менее, это один из немногих вариантов, которые многим компаниям приходится защищать от использования данных в учебных материалах по ИИ, а Reddit также недавно принял меры против веб-сканеров.