robots.txt ファイルにサイトマップ リンクを配置する利点は、ウェブマスターが各検索エンジンのウェブマスター ツールや同様のウェブマスター セクションに移動して独自のサイトマップ ファイルを送信する必要がないことです。この方法は、ウェブマスターの作業を軽減するのに役立ちます。
すべての主要な検索エンジンは、サイトマップをサポートする新しい方法をリリースしました。これは、robots.txt ファイルにサイトマップ ファイルへのリンクを直接含めるというものです。現在これをサポートしている検索エンジン会社には Google や Yahoo がありますが、中国の検索エンジン会社は明らかにこの輪に属していません。
この利点は、ウェブマスターが各検索エンジンのウェブマスター ツールや同様のウェブマスター セクションにアクセスして独自のサイトマップ ファイルを送信する必要がなく、検索エンジン スパイダーが robots.txt ファイルをクロールしてそのコンテンツを読み取ることができることです。サイトマップ パスを検索し、リンクされた Web ページをクロールします。
これは、robots.txt がすでに標準であり、すべての Web サイトに少なくとも 1 つがあり、サイトマップがまだ標準を確立しているという前提に基づいています。このアプローチにより、Web マスターの作業が軽減され、より詳細なインデックスが必要ない場合に役立ちます。情報を検索する場合は、robots.txt にサイトマップを含めるだけで済みます。
それでは、robots.txt ファイルを変更してみましょう。
# # xxx.com の robots.txt # バージョン 2009.04.04 # ユーザーエージェント: * 禁止: /function/ 禁止: /FCKeditor/ 禁止: /CACHE/ 禁止: /SCRIPT/ 許可しない: /ADMIN/ 禁止: /wap.asp 禁止: /cmd.asp サイトマップ: http://www.xxx.com/sitemap.xml |
作者: iyx.cc http://www.iyx.cc 転載する場合は、作者のリンクとこの声明を必ず保管してください。ご協力ありがとうございます。