淺談網站地圖連結放在robots.txt檔案裡的用處

把網站地圖連結放在robots.txt檔案裡，好處就是站長不用到每個搜尋引擎的站長工具或是相​​似的站長部分去提交自己的sitemap檔案。這樣的方法可以幫助站長減輕工作。

各大搜尋引擎都發布了對網站地圖的新的支援方式，就是在robots.txt檔案裡直接包含sitemap檔案的連結。目前對此表示支援的搜尋引擎公司有Google， Yahoo，而中文搜尋引擎公司，顯然不在這個圈子內。

這樣做的好處就是，站長不用到每個搜尋引擎的站長工具或相似的站長部分，去提交自己的sitemap文件，搜尋引擎的蜘蛛自己就會抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相連結的網頁。

這裡基於一個假設，robots.txt已然是一個標準，所有的網站至少都有一個，而sitemap還正在建立標準中，這樣的做法，可以讓站長減輕工作，而且如果他們不需要更詳細的索引和搜尋的資料的話，那麼就只需要包含sitemap到robots.txt就可以了。

讓我們現在就開始動手，修改robots.txt檔案。

 #
# robots.txt for xxx.com
# Version 2009.04.04
#

User-agent: *

Disallow: /function/
Disallow: /FCKeditor/
Disallow: /CACHE/
Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /wap.asp
Disallow: /cmd.asp
Sitemap: http://www.xxx.com/sitemap.xml