昨天拿IIS日誌分析了下，值得高興的是baidu、google、yahoo的蜘蛛都來爬了，看來優化成功了，以前沒爬到過的頁面在做了一些外鏈引導後順利被google抓取到並收錄，但也發現了些問題，google的蜘蛛爬行記錄裡有很多404頁面回傳記錄，這個可不是好事情啊，說明代碼我都沒整理乾淨，大量出現死鏈。隨即我登陸google用網站管理工具一分析，天啊，210個死鏈，估計對google來說我的頁面質量是不咋地了，可這麼多404頁面我查起來都費勁更別說改，這個時候便想到了robots.txt。
因為我這裡的404頁面基本上都是asp結尾的，對於這樣大的404頁面我們可以這麼設定：
User-Agent:Googlebot
Disallow:/*.asp$
今早來一分析日誌昨晚的google爬行記錄，果然不再理會這些asp結尾的頁面。
如果出現的大量死鏈不是呈現規律的頁面的話，就不適合用robots.txt了，所以還有個辦法就是手動設置404頁面，一般的主機商所提供的後台裡應該會有提供404頁面的操作，如果是.net做的程序，可以在web.config裡設定error頁面，我是直接登陸伺服器修改IIS所處理的404代碼返回頁面，總歸一句話，把404頁面改成有利於引導客戶跳到其他有用的頁面來抓住客戶。
此文章由口水魚網頁教學網(http://www.koushuiyu.cn)發布，轉載請註明，謝謝!