Keuntungan menempatkan link peta situs di file robots.txt adalah webmaster tidak harus membuka alat webmaster masing-masing mesin pencari atau bagian webmaster serupa untuk mengirimkan file peta situsnya sendiri. Cara ini dapat membantu webmaster mengurangi pekerjaannya.
Semua mesin pencari besar telah merilis cara baru untuk mendukung peta situs, yaitu dengan langsung menyertakan link ke file peta situs di file robots.txt. Perusahaan mesin pencari yang saat ini mendukung hal ini termasuk Google dan Yahoo, namun perusahaan mesin pencari China jelas tidak termasuk dalam lingkaran ini.
Keuntungannya adalah webmaster tidak perlu membuka alat webmaster atau bagian webmaster serupa di setiap mesin pencari untuk mengirimkan file peta situsnya sendiri. Spider mesin pencari akan merayapi file robots.txt dan membaca konten di dalamnya. jalur peta situs, lalu merayapi halaman web yang tertaut.
Hal ini didasarkan pada asumsi bahwa robots.txt sudah menjadi standar, semua situs web memiliki setidaknya satu, dan peta situs masih menetapkan standar. Pendekatan ini dapat mengurangi pekerjaan webmaster, dan jika mereka tidak memerlukan indeks dan yang lebih rinci mencari informasi, maka Anda hanya perlu memasukkan sitemap ke robots.txt.
Mari kita mulai sekarang dan modifikasi file robots.txt.
# # robots.txt untuk xxx.com # Versi 2009.04.04 # Agen pengguna: * Larang: /fungsi/ Larang: /FCKeditor/ Larang: /CACHE/ Larang: /SCRIPT/ Larang: /ADMIN/ Larang: /wap.asp Larang: /cmd.asp Peta Situs: http://www.xxx.com/sitemap.xml |
Penulis: iyx.cc http://www.iyx.cc Jika direproduksi, pastikan untuk menyimpan tautan penulis dan pernyataan ini! Terima kasih atas kerja sama Anda!