Saya selalu menekankan optimalisasi detail sebelumnya. Ya, persyaratan Baidu saat ini untuk situs web adalah untuk melihat apakah detail Anda dibuat dengan baik. Kode, tag, dll. adalah detail, jadi Robot juga merupakan bagian dari detail situs web nah bagi kami, website ini sangat membantu. Mungkin masih banyak webmaster baru yang belum mengetahui apa itu Robots.
1. Asal usul Robots.txt
Pertama-tama kita harus memahami bahwa Robots bukanlah sebuah perintah atau instruksi. Robots adalah perjanjian pihak ketiga antara situs web dan mesin pencari perlindungan privasi di situs web. Itu ada di file A txt kami di direktori root situs web.
2. Peran Robots.txt
Saat kami meluncurkan situs web kami, akan ada banyak faktor menarik yang dikeluarkan oleh mesin pencari, yang akan menyebabkan penurunan kualitas halaman web kami secara keseluruhan dan kesan buruk terhadap situs web kami di mesin pencari. Peran Robot adalah untuk memblokirnya faktor yang tidak dapat ditolak. Faktor yang menghalangi laba-laba melepaskannya, jadi halaman mana yang harus kita blokir?
1. Blokir beberapa halaman tanpa konten: Saya akan memberikan contoh untuk memperjelasnya, seperti: halaman registrasi, halaman login, halaman belanja, halaman posting, halaman pesan, halaman beranda pencarian, jika Anda memiliki halaman kesalahan 404, Anda juga harus memblokirnya.
2. Blokir halaman duplikat: Jika kami menemukan bahwa situs web kami memiliki dua halaman dengan konten yang sama tetapi jalurnya berbeda, kami harus menggunakan Robot untuk memblokir halaman tersebut. Laba-laba akan tetap merayapinya tetapi tidak akan melepaskannya Alat untuk memblokir halaman. Langsung memeriksa jumlah halaman yang diblokir.
3. Blokir beberapa halaman link mati
Kita hanya perlu memblokir halaman-halaman tersebut dengan karakteristik umum. Fakta bahwa laba-laba tidak dapat merayapi bukan berarti laba-laba tidak dapat merayapi alamat tersebut dan apakah dapat dirayapi adalah dua konsep yang berbeda menanganinya, kita tidak perlu memblok link yang mati, misal kita perlu memblok link mati yang disebabkan oleh jalur kita yang tidak dapat ditangani.
4. Blokir beberapa jalur yang lebih panjang: Kita dapat menggunakan Robot untuk memblokir jalur yang panjang yang melebihi kotak masukan URL.
3. Penggunaan Robots.txt
1. Pembuatan Robots.txt
Buat file notepad baru secara lokal, beri nama Robots.txt, lalu letakkan file ini di direktori root kita, sehingga Robots.txt kita dibuat hanya perlu mendownloadnya dari direktori root.
2. Tata bahasa umum
Sintaks Agen-pengguna digunakan untuk mendefinisikan crawler mesin pencari. Disallow artinya dilarang. Izinkan berarti diperbolehkan.
Mari kita kenali dulu crawler mesin pencari, yaitu laba-laba atau robot.
Untuk laba-laba Baidu, kami menulis Baiduspider di Robot, dan untuk robot Google, kami menulis Googlebot.
Mari kita perkenalkan metode penulisannya. Baris pertama kita adalah mendefinisikan mesin pencari terlebih dahulu.
Agen pengguna: Baiduspider (Perhatian khusus harus diberikan pada fakta bahwa ketika kita menulis Robot, harus ada spasi setelah titik dua. Pada saat yang sama, jika kita ingin mendefinisikan semua mesin pencari, kita harus menggunakan * alih-alih Baiduspider )
Larang: /admin/
Arti dari kalimat ini adalah memberitahu Baidu Spider untuk tidak memasukkan halaman web ke dalam folder admin website saya. Jika kita menghilangkan garis miring setelah admin, artinya berubah total. Artinya memberitahu Baidu Spider untuk tidak memasukkan halaman ke dalam admin folder situs web saya. Semua halaman web di folder admin di direktori root saya.
Izinkan berarti diperbolehkan atau tidak dilarang. Secara umum, ini tidak akan digunakan bersama dengan Disallow. Tujuan penggunaannya bersama adalah untuk memfasilitasi perlindungan direktori dan aplikasi yang fleksibel, dan untuk mengurangi penggunaan kode , mari kita ambil / Ada 100.000 file di folder SEO/, dan ada dua file yang perlu dirayapi. Kita tidak bisa menulis puluhan ribu kode, yang akan sangat melelahkan. Kita hanya perlu beberapa baris untuk bekerja bersama.
Agen-pengguna: *(mendefinisikan semua mesin pencari)
Larang: /seo/ (nonaktifkan penyertaan folder seo)
Izinkan: /seo/ccc.php
Izinkan: /seo/ab.html
Mengizinkan kedua file ini diambil dan disertakan secara bersamaan, sehingga kita dapat menyelesaikan masalah dengan empat baris kode. Beberapa orang mungkin bertanya apakah lebih standar untuk menempatkan Disallow di depan atau Allow di depan, atau apakah Disallow. ditempatkan di bagian depan.
Artikel ini awalnya dibuat oleh http://www.51diaoche.net. Silakan cetak ulang penulis aslinya.
Pemimpin Redaksi: Ruang pribadi Penulis Yangyang Longfeng Hoisting Machinery