Kemarin, saya menganalisis log IIS. Untungnya, laba-laba dari Baidu, Google, dan Yahoo semuanya datang untuk dirayapi. Tampaknya pengoptimalan berhasil. Halaman yang belum pernah dirayapi sebelumnya berhasil dirayapi oleh Google setelah beberapa panduan tautan eksternal tiba dan memasukkannya, tetapi saya juga menemukan beberapa masalah. Ada banyak catatan pengembalian halaman 404 di catatan perayapan laba-laba Google. Ini bukan hal yang baik. Artinya saya belum membersihkan kodenya, dan ada banyak yang mati tautan. Lalu saya masuk ke Google dan menggunakan alat manajemen situs web untuk menganalisisnya. Ya Tuhan, ada 210 tautan mati. Saya kira kualitas halaman saya tidak terlalu bagus untuk Google, tetapi saya kesulitan memeriksa 404 halaman yang begitu banyak, biarlah sendirian mengubahnya. Ini Lalu saya memikirkan robots.txt.
Karena halaman 404 disini pada dasarnya diakhiri dengan asp, maka untuk halaman 404 sebesar itu kita bisa mengaturnya seperti ini:
Agen Pengguna: Googlebot
Larang:/*.asp$
Saya datang ke sini pagi ini untuk menganalisis log catatan perayapan Google tadi malam, dan seperti yang diharapkan, saya tidak lagi memperhatikan halaman yang diakhiri dengan asp.
Jika banyak tautan mati tidak menampilkan halaman biasa, maka tidak cocok menggunakan robots.txt, jadi cara lain adalah dengan mengatur halaman 404 secara manual. Umumnya, backend yang disediakan oleh penyedia host harus menyediakan Operasi halaman 404 , jika ini adalah program .net, Anda dapat mengatur halaman kesalahan di web.config. Saya langsung masuk ke server untuk mengubah halaman pengembalian kode 404 yang diproses oleh IIS untuk melompat ke halaman berguna lainnya untuk menarik pelanggan.
Artikel ini diterbitkan oleh Jaringan Tutorial Web Koushuiyu (http://www.koushuiyu.cn). Harap tunjukkan cetak ulangnya, terima kasih!