昨日、IIS ログを分析したところ、Baidu、Google、Yahoo のスパイダーがすべてクロールするようになりました。これまでクロールされなかったページが、外部リンクの誘導により正常にクロールされたようです。到着して含めましたが、Google のスパイダー クローリング レコードに多くの 404 ページ リターン レコードがあり、これはコードをクリーンアップしていないことを意味し、デッドがたくさんあります。リンク。次に、Google にログインし、Web サイト管理ツールを使用して分析しました。なんと、210 個のリンク切れがありました。Google にとってページの品質があまり良くなかったのでしょう。404 個のページを確認するのは大変でした。それから、robots.txt を思いつきました。
ここの 404 ページは基本的に ASP で終わるため、このような大きな 404 ページの場合は次のように設定できます。
ユーザーエージェント:Googlebot
許可しない:/*.asp$
私は今朝、昨夜の Google クロール記録のログを分析するためにここに来ましたが、予想どおり、asp で終わるこれらのページにはもう注意を払いませんでした。
多数のデッド リンクが通常のページを表示しない場合、robots.txt の使用は適切ではないため、別の方法として、ホスト プロバイダーが提供するバックエンドで 404 ページを手動で設定する必要があります。 .net プログラムの場合は、web.config でエラー ページを設定できます。サーバーに直接ログインして、IIS によって処理される 404 コード リターン ページを変更すると、顧客のガイドに役立ちます。顧客獲得に役立つその他のページにジャンプします。
この記事は、Koshuiyu Web Tutorial Network (http://www.koshuiyu.cn) から公開されたものです。転載を許可してください。