Mengenai robots.txt, kebanyakan orang mungkin mengira bisa ditulis atau tidak. Jika salah menulis maka Anda akan mendapat masalah, jadi sebaiknya Anda tidak menulisnya sama sekali. Faktanya, dalam optimasi mesin pencari, robots.txt memiliki beberapa kegunaan yang luar biasa. Sekarang mari kita lihat kegunaan luar biasa dari robots.txt satu per satu.
1. Saat membuat situs baru, pandu laba-laba untuk merayapi halaman daftar. Saat website baru pertama kali dibangun, tulis alamat kolom website tersebut di robots.txt Anda untuk dirayapi. Contohnya adalah sebagai berikut
# http://www.xxxxx.cn/ Situs web robots.txt yang dioptimalkan
Agen pengguna: *
Larang: /
Larang: /plus/advancedsearch.php
Larang: /plus/car.php
Larang: /plus/carbuyaction.php
Larang: /plus/shops_buyaction.php
Larang: /plus/erraddsave.php
Larang: /plus/posttocar.php
Larang: /plus/disdls.php
Larang: /plus/feedback_js.php
Larang: /plus/mytag_js.php
Larang: /plus/rss.php
Larang: /plus/search.php
Larang: /plus/recommend.php
Larang: /plus/stow.php
Larang: /plus/count.php
Larang: / sertakan
Larang: /templets
Robots.txt default dedecms digunakan, yang menurut saya pribadi cukup bagus.
2. Blokir halaman berkualitas rendah agar tidak disertakan. Misalnya, salah satu halaman web Anda adalah halaman dinamis, content.asp, dan Anda dapat memperoleh konten yang berbeda melalui parameter id. Jika Anda perlu menambahkan parameter gaya untuk menampilkan halaman dengan gaya berbeda tetapi konten yang sama kepada pengguna berbeda, lalu, Untuk halaman dengan konten yang sama dengan ID 1, mungkin terdapat beberapa link.
konten.asp?id=1
konten.asp?id=1&style=merah
konten.asp?id=1&style=hijau
Untuk koneksi ini, kontennya sama tetapi koneksinya berbeda, yang dapat menyebabkan munculnya konten duplikat. Di sini, Anda dapat memblokir penyertaan halaman duplikat melalui robots.txt, sebagai berikut:
Agen pengguna: *
Larang: content.asp?id=*&style=*
3. Tidak perlu mengirimkan peta situs ke mesin pencari utama. Google, Microsoft dan Yahoo semuanya sudah mendukung ekstensi robots.txt ini. Jadi juga menghemat waktu untuk mengirimkan peta situs
Sedangkan untuk cara penulisan khusus robots.txt, disarankan untuk mengacu pada panduan yang diberikan oleh Baidu yang sangat detail http://www.baidu.com/search/robots.html
Pertama kali diterbitkan di Webmaster.com, harap simpan tautan http://www.zzyoua.cn/ untuk mencetak ulang.