對於robots.txt，可能一般人的觀點是可寫可不寫，寫錯了還有麻煩，所以乾脆不寫。其實，在搜尋引擎優化中，robots.txt有這麼幾個妙用。現在咱們一一來看下robots.txt的妙用。
1.新站創建的時候引導蜘蛛抓取清單頁。新站初建，在你的robots.txt寫入網站的欄位位址以便抓取。示例如下
# http://www.xxxxx.cn/ 網站優化的robots.txt
User-agent: *
Disallow: /
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
採用了dedecms預設的robots.txt，個人感覺還是挺不錯的。
2、屏蔽低品質的頁面收錄。例如，你的一個網頁是動態的頁面，content.asp，透過參數id來獲得不同的內容，而假如你需要增加一個參數style,以便給不同的使用者顯示不同樣式，但是內容相同的頁面，那麼，對於id為1的同一個內容的頁面，可能會出現好幾個連接
content.asp?id=1
content.asp?id=1&style=red
content.asp?id=1&style=green
對於這些連接而言，內容相同，但是連接不同，就可能導致重複內容的出現，在此，你可以透過robots.txt屏蔽重複頁面的收錄，寫法如下
User-agent: *
Disallow: content.asp?id=*&style=*
3.無須向各大搜尋引擎提交sitemap。 谷歌，微軟以及雅虎已經支持這項robots.txt的擴充寫法。所以也省了提交sitemap的時間
至於robots.txt的具體寫法，建議還是參考百度給的指南，十分詳細http://www.baidu.com/search/robots.html
站長網首發，轉載請請保留http://www.zzyoua.cn/ 連結。