File robots adalah "kesepakatan pria" antara situs web dan program laba-laba - file robots tidak hanya dapat menghemat sumber daya situs web, tetapi juga membantu laba-laba merayapi web dengan lebih efektif, sehingga meningkatkan peringkat.
1: Hanya izinkan bot Google
Jika Anda ingin memblokir semua crawler kecuali Googlebot:
Agen pengguna：*
melarang:/
Agen-Uer: nama laba-laba yang diizinkan
Melarang:
2: Perbedaan antara "/folder/" dan "/folder"
Misalnya:
Agen pengguna：*
Larang:/folder/
Larang:/folder
"Larang:/folder/" berarti direktori disadap. Semua file dalam direktori ini tidak boleh dirayapi, tetapi folder.hlml boleh dirayapi.
"Disallow:/folder": Semua file dan folder.html di bawah /folder/ tidak dapat dirayapi.
3: "*" cocok dengan karakter apa pun
Agen pengguna：*
Menunjukkan untuk memblokir semua laba-laba. Setelah kita melakukan pemrosesan pseudo-statis, akan ada halaman web dinamis dan halaman web statis secara bersamaan. Konten halaman web tersebut sama persis dan dianggap sebagai halaman cermin halaman Anda dapat menggunakan tanda * untuk memblokir halaman web dinamis.
Agen pengguna：*
Melarang:/?*?/
4: $ URL yang cocok berakhir
Jika Anda ingin mencegat URL yang diakhiri dengan string tertentu, Anda dapat menggunakan $. Misalnya, jika Anda ingin mencegat URL yang diakhiri dengan .asp:
Agen pengguna：*
Larang：/*.asp$
Anda juga dapat membuka situs web yang relatif bagus untuk melihat bagaimana file robot mereka ditulis, dan kemudian membuat modifikasi yang sesuai sesuai kebutuhan Anda. File robots dapat memungkinkan laba-laba menghabiskan lebih banyak waktu pada konten yang akan dirayapi, jadi pengoptimalan file robots diperlukan.
Artikel ini berasal dari Dongyang Gaofu: http://mygaofu.com . Harap tunjukkan tautannya saat mencetak ulang.
Pemimpin Redaksi: Yangyang Penulis Saya suka mengoptimalkan ruang pribadi