ai.robots.txt
v1.19: adds DuckAssistBot, improves automation
นี่คือรายการโปรแกรมรวบรวมข้อมูลเว็บแบบเปิดที่เกี่ยวข้องกับบริษัท AI และการฝึกอบรม LLM ที่จะบล็อก เราขอแนะนำให้คุณมีส่วนร่วมและดำเนินการรายการนี้บนเว็บไซต์ของคุณเอง ดูข้อมูลเกี่ยวกับโปรแกรมรวบรวมข้อมูลที่ระบุไว้และคำถามที่พบบ่อย
โปรแกรมรวบรวมข้อมูลเหล่านี้จำนวนหนึ่งได้มาจาก Dark Visitors และเราขอขอบคุณที่พวกเขาพยายามอย่างต่อเนื่องในการติดตามโปรแกรมรวบรวมข้อมูลเหล่านี้
หากคุณต้องการเพิ่มข้อมูลเกี่ยวกับโปรแกรมรวบรวมข้อมูลลงในรายการ โปรดส่งคำขอดึงโดยเพิ่มชื่อบ็อตลงใน robots.txt , ai.txt และรายละเอียดใดๆ ที่เกี่ยวข้องใน table-of-bot-metrics.md เพื่อช่วย ผู้คนเข้าใจสิ่งที่กำลังรวบรวมข้อมูล
หมายเหตุเกี่ยวกับการมีส่วนร่วม: ควรเพิ่ม/สร้างการอัปเดตใน robots.json การดำเนินการ GitHub ซึ่งได้รับความอนุเคราะห์จาก Adam จะสร้าง robots.txt และ table-of-bot-metrics.md ที่อัปเดตแล้ว
คุณสามารถสมัครรับการอัปเดตรายการผ่านทาง RSS/Atom ด้วยฟีดการเผยแพร่:
https://github.com/ai-robots-txt/ai.robots.txt/releases.atom
คุณสามารถสมัครสมาชิกกับ Feedly, Inoreader, The Old Reader, Feedbin หรือแอปตัวอ่านอื่น ๆ ได้
หรือคุณสามารถสมัครรับข่าวสารออกใหม่ด้วยบัญชี GitHub ของคุณโดยคลิกที่ปุ่ม "รับชม" ที่ด้านบนของหน้านี้ คลิก "กำหนดเอง" และเลือก "เผยแพร่"
หากคุณใช้ฮาร์ดบล็อกของ Cloudflare ร่วมกับรายการนี้ คุณสามารถรายงานโปรแกรมรวบรวมข้อมูลที่มีการละเมิดซึ่งไม่เคารพ robots.txt ได้ที่นี่
