โปรแกรมรวบรวมข้อมูลเว็บ ClaudeBot ที่ Anthropic ใช้เยี่ยมชมเว็บไซต์ iFixit บ่อยครั้งในช่วง 24 ชั่วโมง ซึ่งดูเหมือนว่าจะละเมิดข้อกำหนดการใช้งานของบริษัท
Kyle Wiens ซีอีโอของ iFixit กล่าวว่าไม่เพียงแต่เป็นการใช้เนื้อหาโดยไม่ได้รับอนุญาตเท่านั้น แต่ยังใช้ทรัพยากรในการพัฒนาอีกด้วย เพื่อตอบสนองต่อสิ่งนี้ Fixit ได้เพิ่มส่วนขยายการหน่วงเวลาการรวบรวมข้อมูลลงใน robots.txt เพื่อจำกัดการเข้าถึงของโปรแกรมรวบรวมข้อมูล
นอกเหนือจาก iFixit แล้ว Eric Holscher ผู้ร่วมก่อตั้ง Read the Docs และ Matt Barrie ซีอีโอของ Freelancer.com ยังรายงานว่าเว็บไซต์ของพวกเขาถูกบุกรุกโดยโปรแกรมรวบรวมข้อมูล Anthropic
ในช่วงหลายเดือนที่ผ่านมา โพสต์ของ Reddit รายงานว่ากิจกรรมการขูดเว็บของ Anthropic เพิ่มขึ้นอย่างมาก ในเดือนเมษายนของปีนี้ การหยุดทำงานของไซต์บนเว็บฟอรั่ม Linux Mint ก็มีสาเหตุมาจากกิจกรรมการรวบรวมข้อมูลของ ClaudeBot
บริษัท AI หลายแห่ง เช่น OpenAI ปฏิเสธการเข้าถึงของโปรแกรมรวบรวมข้อมูลผ่านไฟล์ robots.txt แต่การดำเนินการนี้ไม่ได้ทำให้เจ้าของเว็บไซต์มีตัวเลือกในการกำหนดได้อย่างยืดหยุ่นว่าเนื้อหาใดที่รวบรวมข้อมูลที่ได้รับอนุญาตและห้าม บริษัท AI อีกแห่งชื่อ Perplexity ถูกพบว่าเพิกเฉยต่อกฎการยกเว้นของ robots.txt โดยสิ้นเชิง
ถึงกระนั้น นี่เป็นหนึ่งในไม่กี่ตัวเลือกที่หลายบริษัทต้องปกป้องข้อมูลจากการถูกใช้เป็นสื่อการฝึกอบรม AI และ Reddit ยังได้ดำเนินการกับโปรแกรมรวบรวมข้อมูลเว็บเมื่อเร็ว ๆ นี้