-
robots.txt adalah file pertama yang dilihat oleh spider mesin pencari ketika mereka merayapi situs Anda. File ini memberi tahu program spider mesin pencari file mana di situs Anda yang boleh dilihat dan mana yang tidak. Saat ini, mesin pencari arus utama masih mematuhi peraturan ini. Hefei SEO memiliki pemahaman yang mendalam tentang hal ini. Situs ini membuka blokir file robots.txt sekitar jam 11 malam pada tanggal 20 untuk memungkinkan spider mesin pencari mengaksesnya. Saya cek dan Baidu benar-benar menutupnya. Google kedua juga menerimanya.
Sudah cukup, mari kita mulai berbisnis. robots.txt adalah berkas teks. Harus diberi nama "robots.txt" dan diunggah ke direktori akar situs. Pengunggahan ke subdirektori tidak valid karena robot mesin pencari hanya akan mencarinya di direktori akar nama domain Anda .dokumen. Sekali lagi, tidak perlu membuang waktu semua orang di sini jika Anda tidak memiliki pengetahuan dasar tentang Hefei SEO. Anda dapat mengunjungi Pusat Bantuan Pencarian Baidu dan Blog Administrator Google China SEO.berperan dalam proses optimasi website.
1. Tips menggunakan robots.txt yang bermanfaat untuk optimasi website
1. Pembuatan situs web online menyediakan cara yang nyaman. Saat kita menyelesaikan nama domain ke server, kita dapat mengakses situs tersebut, namun saat ini situs tersebut belum ditata dengan baik dan meta tag masih berantakan. Situs saat ini sudah dirayapi dan dimasukkan oleh spider mesin pencari. Jika saat itu diubah maka akan sangat merugikan optimasi SEO. Saat ini, Anda dapat menggunakan file robots.txt untuk mengatur semua spider mesin pencari agar tidak mengizinkan kueri semua konten situs. Format sintaksisnya adalah:
Agen pengguna: *
Larang: /
2. Sesuaikan spider mesin pencari untuk merayapi konten tertentu, memungkinkan Anda memilih cara menangani mesin pencari berdasarkan kondisi situs. Ada dua arti di sini.
(1) Mesin pencari yang disesuaikan. Jika kamu meremehkan perbuatan Du Niang, kamu bisa membuatnya hanya menatapmu seperti ini. Format sintaksisnya adalah:
Agen pengguna: baiduspider
Larang: /
Catatan: Nama robot mesin pencari yang umum.
Nama mesin pencari
Laba-laba Baidu http://www.baidu.com
Skuter http://www.altaVista.com
ia_archiver http://www.Alexa.com
Googlebot http://www.google.com
CEPAT-WebCrawler http://www.alltheweb.com
Menyeruput http://www.inktomi.com
MSNBOT http://search.msn.com
(2) Sesuaikan konten situs. Artinya, Anda dapat menentukan direktori untuk mengizinkan laba-laba merayapi, dan direktori untuk melarang laba-laba merayapi. Misalnya, semua spider mesin pencari diperbolehkan merayapi konten di bawah direktori abc, tetapi dilarang merayapi konten di bawah direktori def. Format sintaksisnya adalah:
Agen pengguna: *
Izinkan: /abc/
Larang: /def/
3. Memandu mesin pencari untuk merayapi konten situs web. Metode yang paling umum di sini adalah
(1) Pandu laba-laba untuk merayapi peta situs Anda. Format sintaksisnya adalah:
Agen pengguna: *
peta situs:url peta situs
(2) Cegah laba-laba merayapi situs web Anda untuk mencari konten duplikat.
4. Masalah halaman kesalahan 404. Jika server Anda menyesuaikan halaman kesalahan 404 dan tidak mengonfigurasi file robots.txt di direktori akar situs Anda, spider mesin pencari akan memperlakukannya sebagai file robots.txt, yang akan memengaruhi penyertaan halaman situs web Anda oleh mesin pencari .
2. Cara menulis robots.txt untuk pembuatan website menggunakan program tertentu. Ini hanyalah hal umum, Anda harus memutuskan sesuai dengan situasi spesifik Anda.
1. Cara menulis file robots.txt untuk pembuatan website DedeCMS
Agen pengguna: *
Larang: /plus/feedback_js.php
Larang: /plus/feedback.php
Larang: /plus/mytag_js.php
Larang: /plus/rss.php
Larang: /plus/search.php
Larang: /plus/recommend.php
Larang: /plus/stow.php
Larang: /plus/count.php
Larang: / sertakan
Larang: /templets
Larang: /anggota
2. Cara menulis file robots.txt untuk pembuatan website WordPress
Agen pengguna: *
Larang: /wp-admin
Larang: /wp-content/plugins
Larang: /wp-content/themes
Larang: /wp-include
Larang: /?s=
Peta Situs: http://www.***.com/sitemap.xml
3. Cara menulis file robots.txt untuk pembuatan website phpcms
Agen pengguna: *
Larang: /admin
Larang: /data
Larang: /templates
Larang: / sertakan
Larang: /bahasa
Larang: /api
Larang: /fckeditor
Larang: /install
Larang: /count.php
Larang: /komentar
Larang: /buku tamu
Larang: /umumkan
Larang: /anggota
Larang: /pesan
Larang: /spider
Larang: /yp
Larang: / pilih
Larang: /video
4. Cara menulis file robots.txt di forum discuz
Agen pengguna: *
Izinkan: /redirect.php
Izinkan: /viewthread.php
Izinkan: /forumdisplay.php
Larang: /?
Larang: /*.php
Meski topiknya sudah lama, masih banyak yang harus dipelajari. Beberapa orang mengatakan bahwa menyetel file robots.txt akan membawa risiko diserang oleh "orang yang disengaja". Sebagai penyerang akar rumput, Anda tidak perlu takut karena Anda adalah "orang yang disengaja", Anda tidak perlu melakukan apa pun (ini bukan hanya program pembuatan website itu sendiri, tetapi juga keamanan server. Dari Hefei SEO: http://www.anhuiseo.org Harap tunjukkan sumber untuk mencetak ulang.
Terima kasih kepada qhpf298 atas kontribusinya