robots.txtに関しては、書いてもいいし、間違って書いたら大変なことになるので、書かないほうが良いと思う人がほとんどかもしれません。実際、検索エンジンの最適化において、robots.txt にはいくつかの素晴らしい用途があります。それでは、robots.txtの素晴らしい使い方を一つずつ見ていきましょう。
1. 新しいサイトを作成するときに、スパイダーがリスト ページをクロールするように誘導します。新しい Web サイトを最初に構築するときに、クロール用に robots.txt に Web サイトの列アドレスを書き込みます。例は次のとおりです
# http://www.xxxxx.cn/ Web サイトに最適化された robots.txt
ユーザーエージェント: *
許可しない: /
禁止: /plus/advancedsearch.php
禁止: /plus/car.php
禁止: /plus/carbuyaction.php
禁止: /plus/shops_buyaction.php
禁止: /plus/erraddsave.php
禁止: /plus/posttocar.php
禁止: /plus/disdls.php
禁止: /plus/フィードバック_js.php
禁止: /plus/mytag_js.php
禁止: /plus/rss.php
禁止: /plus/search.php
禁止: /plus/recommend.php
禁止: /plus/stow.php
禁止: /plus/count.php
禁止: /include
禁止: /templets
dedecms のデフォルトの robots.txt が使用されますが、個人的にはかなり良いと感じています。
2. 低品質のページが含まれないようにブロックします。たとえば、Web ページの 1 つが動的ページ content.asp であり、パラメータ ID を通じて異なるコンテンツを取得して、異なるスタイルで同じコンテンツのページを異なるユーザーに表示する必要がある場合は、次のようにします。その場合、ID 1 の同じコンテンツを持つページには、複数のリンクが存在する可能性があります。
content.asp?id=1
content.asp?id=1&style=red
content.asp?id=1&style=green
これらの接続では、コンテンツは同じですが接続が異なるため、重複したコンテンツが表示される可能性があります。ここでは、次のように robots.txt を通じて重複ページの組み込みをブロックできます。
ユーザーエージェント: *
禁止: content.asp?id=*&style=*
3. 主要な検索エンジンにサイトマップを送信する必要はありません。 Google、Microsoft、Yahoo はすべて、robots.txt のこの拡張子をすでにサポートしています。そのため、サイトマップを送信する時間も節約できます
robots.txt の具体的な記述方法については、Baidu が提供するガイドが非常に詳しく解説されています http://www.baidu.com/search/robots.html を参照することをお勧めします。
最初に Webmaster.com で公開されたものなので、転載用にリンク http://www.zzyoua.cn/ を保存しておいてください。