ai.robots.txt

ai.robots.txt

Ini adalah daftar terbuka perayap web yang terkait dengan perusahaan AI dan pelatihan LLM untuk diblokir. Kami mendorong Anda untuk berkontribusi dan menerapkan daftar ini di situs Anda sendiri. Lihat informasi tentang crawler yang terdaftar dan FAQ.

Sejumlah perayap ini bersumber dari Pengunjung Gelap dan kami menghargai upaya berkelanjutan yang mereka lakukan untuk melacak perayap ini.

Jika Anda ingin menambahkan informasi tentang perayap ke dalam daftar, silakan buat permintaan penarikan dengan nama bot yang ditambahkan ke robots.txt , ai.txt , dan detail apa pun yang relevan di table-of-bot-metrics.md untuk membantu orang mengerti apa yang sedang merangkak.

Berkontribusi

Catatan tentang berkontribusi: pembaruan harus ditambahkan/dibuat ke robots.json . Tindakan GitHub, atas izin Adam, kemudian akan menghasilkan robots.txt dan table-of-bot-metrics.md yang diperbarui.

Berlangganan pembaruan

Anda dapat berlangganan pembaruan daftar melalui RSS/Atom dengan umpan rilis:

 https://github.com/ai-robots-txt/ai.robots.txt/releases.atom

Anda dapat berlangganan dengan Feedly, Inoreader, The Old Reader, Feedbin, atau aplikasi pembaca lainnya.

Alternatifnya, Anda juga dapat berlangganan rilis baru dengan akun GitHub Anda dengan mengklik tombol "Tonton" di bagian atas halaman ini, mengklik "Kustom" dan memilih "Rilis".

Laporkan perayap yang kasar

Jika Anda menggunakan blok keras Cloudflare di samping daftar ini, Anda dapat melaporkan crawler yang melakukan pelanggaran yang tidak menghormati robots.txt di sini.

Sumber daya tambahan

• Memblokir Bot dengan Nginx oleh Robb Knight
• Memblokir bot. oleh Ethan Marcotte
• Memblokir Bot Dengan 11ty Dan Apache dengan kemarahan yang menyala-nyala
• Memblokir bot di Netlify oleh Jeremia Kimelman
• Memblokir perayap web AI oleh Glyn Normington
• Blokir Bot AI dari Merangkak Situs Web Menggunakan Robots.txt oleh Jonathan Gillham, Originality.AI