قام زاحف الويب ClaudeBot الذي تستخدمه Anthropic بزيارة موقع iFixit بشكل متكرر على مدار 24 ساعة، ويبدو أنه ينتهك شروط الاستخدام الخاصة بالشركة.
وقال كايل وينز، الرئيس التنفيذي لشركة iFixit، إن هذا الاستخدام غير المصرح به للمحتوى لم يكن فحسب، بل استهلك أيضًا موارد التطوير الخاصة بهم. ردًا على ذلك، أضاف Fixit ملحق تأخير الزحف إلى ملف robots.txt لتقييد وصول الزاحف.
بالإضافة إلى iFixit، أفاد إريك هولشر، المؤسس المشارك لـ Read the Docs، والرئيس التنفيذي لشركة Freelancer.com مات باري، أيضًا أن مواقعهم على الويب تعرضت للغزو من قبل الزاحف الأنثروبي.
في الأشهر السابقة، أبلغت منشورات Reddit عن زيادة حادة في نشاط تجريف الويب الخاص بـ Anthropic. في أبريل من هذا العام، عُزي أيضًا انقطاع الموقع في منتدى الويب Linux Mint إلى نشاط الزحف الخاص بـ ClaudeBot.
تمنع العديد من شركات الذكاء الاصطناعي مثل OpenAI وصول الزاحف من خلال ملفات robots.txt، لكن هذا لا يوفر لمالكي مواقع الويب خيار تحديد محتوى الزحف المسموح به والمحظور بمرونة. تبين أن شركة أخرى تعمل في مجال الذكاء الاصطناعي، وهي Perplexity، تتجاهل تمامًا قواعد استبعاد ملف robots.txt.
ومع ذلك، فهو أحد الخيارات القليلة المتاحة للعديد من الشركات لحماية البيانات من استخدامها في المواد التدريبية الخاصة بالذكاء الاصطناعي، كما اتخذ موقع Reddit مؤخرًا إجراءات ضد برامج زحف الويب.