File robots.txt, teman-teman kurang lebih pernah mendengarnya, atau mungkin mereka sendiri yang menulisnya. Sebenarnya saya sendiri belum pernah menulis file robots.txt, bukannya saya tidak bisa menulisnya, saya hanya merasa tidak ada apa pun di blog ini yang perlu dicegah agar tidak dirayapi oleh laba-laba. Dan semua orang juga harus tahu bahwa kemungkinan link mati di blog pribadi independen harusnya sangat kecil, dan tidak perlu terlalu banyak menangani link mati, jadi menurut saya tidak perlu. Namun metode penulisan file robots.txt merupakan salah satu keterampilan yang harus dikuasai oleh setiap webmaster, dan kegunaannya masih sangat luas. Berikut adalah pengenalan detailnya, yang bisa dianggap sebagai ulasan untuk Anda sendiri.
Apa itu file robots.txt
Dilihat dari nama filenya, ada akhiran .txt. Anda juga harus tahu bahwa ini adalah file teks, yaitu Notepad. Robots, mereka yang tahu sedikit bahasa Inggris pasti mengetahuinya, artinya robot. Bagi kami, robot ini mewakili robot mesin pencari. Dari namanya, Anda dapat menebak bahwa file ini khusus kami tulis untuk dibaca oleh laba-laba. Fungsinya untuk memberi tahu laba-laba bahwa kolom atau halaman tersebut tidak perlu dirayapi, tentunya juga dapat langsung memblokir akses laba-laba tertentu. Perhatikan bahwa file ini ditempatkan di direktori root situs web untuk memastikan bahwa laba-laba dapat membaca konten file sesegera mungkin.
Peran file robot
Faktanya, file robots paling sering kami gunakan untuk memblokir tautan mati di dalam situs web. Semua orang harus tahu bahwa terlalu banyak link mati pada sebuah website akan mempengaruhi bobot website tersebut. Namun meskipun tidak merepotkan untuk membersihkan link mati pada website, namun tetap memakan waktu yang tidak sebentar. Apalagi jika banyak link mati di website, maka akan sangat melelahkan untuk membersihkannya kegunaan file robots akan tercermin. Kita dapat langsung Menulis tautan mati ini ke dalam file sesuai formatnya untuk mencegah laba-laba merayapinya. Jika Anda ingin membersihkannya, Anda dapat membersihkannya secara perlahan di masa mendatang. Beberapa konten situs web berisi URL atau file yang webmaster tidak ingin dirayapi laba-laba, dan konten tersebut juga dapat diblokir secara langsung. Untuk melindungi laba-laba, umumnya lebih sedikit digunakan.
Cara menulis file robot
Poin ini seharusnya lebih penting. Jika Anda salah menulis dan mencoba memblokirnya tetapi gagal, tetapi jika Anda menulis sesuatu yang ingin ditangkap dan tidak dapat menemukannya tepat waktu, Anda akan menderita kerugian besar. Pertama-tama kita perlu mengetahui dua tag, Allow dan Disallow, yang satu diperbolehkan dan yang lainnya tidak diperbolehkan. Semua orang bisa memahami fungsinya.
Agen pengguna: *
Melarang:
atau
Agen pengguna: *
Mengizinkan:
Dua paragraf konten ini menunjukkan bahwa semuanya boleh dirayapi. Faktanya, tag Disallow digunakan untuk memblokir URL dan file, kecuali jika situs web Anda hanya memiliki sedikit yang ingin dirayapi dan menggunakan tag Allow. Agen Pengguna ini: diikuti dengan nama laba-laba. Semua orang pasti sudah familiar dengan nama laba-laba mesin pencari utama. Mari kita ambil Soso Spider sebagai contoh: Sosospider.
Saat kita ingin memblokir Soso Spider:
Agen pengguna: sosospider
Larang: /
Anda dapat menemukan bahwa dibandingkan dengan izin di atas, laba-laba pelindung ini hanya memiliki satu "/" lagi, dan maknanya telah berubah secara dramatis. Oleh karena itu, Anda harus berhati-hati saat menulis, dan Anda tidak dapat memblokir laba-laba itu sendiri hanya karena Anda menulis tambahan tebas. Tapi tidak tahu. Juga, di agen-pengguna: jika nama laba-laba diikuti dengan "*" sudah diperbaiki, artinya nama tersebut berlaku untuk semua laba-laba.
Untuk melarang suatu direktori dirayapi oleh spider mesin pencari, kode pengaturannya adalah sebagai berikut:
Agen pengguna: *
Larang: /direktori/
Perhatikan bahwa jika Anda ingin mencegah perayapan suatu direktori, Anda harus memperhatikan "/" pada nama direktori. Tanpa "/", itu berarti akses ke halaman direktori ini dan halaman di bawah direktori diblokir, dan dengan " /", artinya masuk ke direktori yang diblokir. Pada halaman konten di bawah ini, kedua poin ini harus dibedakan dengan jelas. Jika Anda ingin memblokir banyak direktori, Anda perlu menggunakan
Agen pengguna: *
Larang: /directory1/
Larang: /directory2/
Formulir ini tidak boleh berbentuk /direktori 1/direktori 2/.
Jika Anda ingin mencegah spider mengakses jenis file tertentu, misalnya untuk mencegah perayapan gambar dalam format .jpg, Anda dapat mengaturnya ke:
Agen pengguna: *
Larang: .jpg$
Di atas adalah metode penulisan Shanghai SEO Xiaoma untuk file robots seluruh situs web, hanya membahas tentang jenis dan tindakan pencegahan metode penulisan robots. Ada sedikit penjelasan tentang metode penulisan tertentu seperti pemblokiran laba-laba yang ditargetkan atau metode penulisan lainnya , tapi tahukah Anda arti dari mengizinkan dan tidak mengizinkan. Memikirkannya dapat memperoleh banyak arti lain dari menulis. Ada juga cara menulis tag halaman web meta robot untuk halaman web tertentu, namun umumnya tidak banyak yang digunakan.
Di atas disusun oleh Shanghai seo pony http://www.mjlseo.com/ , harap sebutkan saat mencetak ulang, terima kasih
Pemimpin Redaksi: Ruang pribadi penulis Yangyang Xiaoma Laoma