Saya sudah lama berjanji untuk menulis artikel untuk Ah Bin. Saya berterima kasih atas bantuannya kepada saya, tetapi saya belum menulisnya sampai sekarang. Beberapa hari yang lalu, saya melihat Zhuo Shao mengajukan pertanyaan tentang robot, dan saya menyusunnya itu untuk semua orang. Mari kita bicara tentang beberapa situasi robot. File robots.txt ditempatkan di direktori root website dan merupakan file pertama yang dilihat mesin pencari saat mengakses website. Ketika laba-laba pencarian mengunjungi suatu situs, pertama-tama ia akan memeriksa apakah robots.txt ada di direktori root situs tersebut. Jika ada, robot pencari akan menentukan cakupan akses berdasarkan konten file; tidak ada, semua laba-laba pencarian akan dapat mengakses semua halaman di situs web yang tidak dilindungi kata sandi. Setiap situs web harus memiliki robot, yang memberi tahu mesin pencari hal-hal mana di situs web saya yang tidak boleh dirayapi, dan halaman mana yang boleh dirayapi dan dirayapi.
Beberapa fungsi robot:
1. Blokir semua mesin pencari agar tidak merayapi informasi. Jika situs web Anda hanyalah situs pribadi Anda dan Anda tidak ingin terlalu banyak orang mengetahuinya, Anda dapat menggunakan robot untuk memblokir semua mesin pencari, misalnya blog pribadi yang Anda tulis. Anda dapat memblokir semua mesin pencari
Agen pengguna: *
Larang: /
2. Jika Anda hanya ingin mesin pencari tertentu merayapi informasi Anda, Anda dapat menggunakan robot untuk mengaturnya saat ini Misalnya: Saya hanya ingin situs web saya dimasukkan ke Baidu, tetapi tidak di mesin pencari lainnya. Anda dapat menggunakan robot untuk mengaturnya
Agen pengguna: Baiduspider
Mengizinkan:
Agen pengguna: *
Larang: /
3. Anda dapat menggunakan berbagai wildcard untuk mengonfigurasi situs web sesuai kebutuhan. Misalnya, jika saya tidak ingin situs web merayapi semua gambar saya, saya dapat menggunakan $ untuk menyiapkannya. Umumnya format gambar umum kami adalah BMP, JPG, GIF, JPEG dan format lainnya. Pengaturan saat ini adalah:
Agen pengguna: *
Larang: /.bmp$
Larang: /.jpg$
Larang: /.gif$
Larang: /.jpeg$
4. Anda juga dapat menggunakan * untuk memblokir URL terkait. Jika beberapa situs web tidak mengizinkan mesin telusur merayapi alamat dinamis, Anda dapat menggunakan karakter pengganti * ini untuk menyetel setelan pencocokan. Dalam keadaan normal, salah satu ciri URL dinamis adalah adanya tanda "?". Saat ini, kita dapat menggunakan fitur ini untuk melakukan pemblokiran pencocokan:
Agen pengguna: *
Larang: /*?*
5. Jika situs web direvisi dan seluruh folder hilang, dalam hal ini, Anda harus mempertimbangkan untuk memblokir seluruh folder. Kita bisa menggunakan robots untuk memblokir seluruh folder. Misalnya folder ab di website telah terhapus karena revisi.
Agen pengguna: *
Larang: /ab/
6. Jika ada folder di website yang tidak ingin dimasukkan, namun ada informasi di folder tersebut yang boleh dimasukkan. Kemudian Anda dapat menggunakan izin robot untuk mengaturnya. Misalnya folder ab di website saya tidak boleh dirayapi oleh mesin pencari, tetapi ada CD informasi di folder ab yang boleh dirayapi.
Agen pengguna: *
Larang: /ab/
Izinkan:/ab/cd
7. Lokasi peta situs dapat ditentukan dalam robot, yang bermanfaat untuk penyertaan situs web.
peta situs:<lokasi peta situs>
8. Terkadang Anda akan menemukan bahwa robot dipasang di situs web saya tetapi Anda juga menemukan bahwa itu menyertakan alamat URL ini. Alasannya adalah karena laba-laba mesin pencari ini merayapi halaman web melalui URL URL seperti ini. Tidak ada judul dan deskripsi, tetapi ketika Baidu merayapi URL ini, maka akan muncul judul dan deskripsi, sehingga banyak orang akan mengatakan bahwa saya menyiapkan robot tetapi tidak berpengaruh. Situasi sebenarnya adalah tautan tersebut dirayapi tetapi konten halaman tidak disertakan.
Beranda situs web memiliki bobot tertinggi, dan bobot ditransfer melalui tautan. Kami menyiapkan robot untuk mentransfer bobot dengan lebih baik ke halaman-halaman yang memerlukan bobot tinggi, dan beberapa halaman tidak perlu dirayapi dan dirayapi dengan penelusuran. mesin. dari.
Penanggung jawab editor: Chen Long Ruang pribadi penulis︶ Shitou Peng