robots.txt
1.0.0
Template Robots.txt oleh Jonas Jacek, telah dipindahkan ke ditig.com.
Repositori ini akan segera ditutup.
Repositori ini berisi 2 templat file robots.txt untuk membantu webmaster menjauhkan robot web yang tidak diinginkan (misalnya bot pengikis, mesin pencari orang, alat seo, alat pemasaran, dll.) dari situs web mereka tetapi mengizinkan robot yang sah (misalnya perayap mesin pencari).
Agar sah dan terdaftar, robot harus sepenuhnya mematuhi Standar Pengecualian Robot . Templat file robots.txt berisi daftar putih. Robot yang tidak terdaftar (Agen pengguna), berdasarkan konvensi Standar Pengecualian Robot, tidak diizinkan untuk mengakses.
File template robots.txt berisi daftar putih robot web sah yang diurutkan berdasarkan abjad. Dalam versi yang dikomentari, setiap bot dijelaskan secara singkat dalam komentar di atas (daftar) agen pengguna. Batalkan komentar atau hapus bot (Agen-pengguna) yang tidak ingin Anda izinkan mengakses situs web Anda.
Ada dua versi file robots.txt:
/robots.txt/robots.min.txt Jika Anda menggunakan versi minified, jangan lupa ganti namanya menjadi robots.txt agar efektif.
