昨天拿IIS日志分析了下，值得高兴的是baidu、google、yahoo的蜘蛛都来爬了，看来优化成功了，以前没爬到过的页面在做了一些外链引导后顺利被google抓取到并收录，但也发现了些问题，google的蜘蛛爬行记录里有很多404页面返回记录，这个可不是好事情啊，说明代码我都没整理干净，大量出现死链。随即我登陆google用网站管理工具一分析，天啊，210个死链，估计对google来说我的页面质量是不咋地了，可这么多404页面我查起来都费劲更别说改，这个时候便想到了robots.txt。
因为我这里的404页面基本都是asp结尾的，对于这样大的404页面我们可以这么设置：
User-Agent:Googlebot
Disallow:/*.asp$
今早过来一分析日志昨晚的google爬行记录，果然不再理会这些asp结尾的页面。
如果出现的大量死链不是呈现有规律的页面的话，就不适合用robots.txt了，所以还有个办法就是手动设置404页面，一般的主机商所提供的后台里应该会有提供404页面的操作，如果是.net做的程序，可以在web.config里设置error页面，我是直接登陆服务器修改IIS所处理的404代码返回页面，总归一句话，把404页面改成有利于引导客户跳到其他有用的页面来抓住客户。
此文章由口水鱼网页教程网(http://www.koushuiyu.cn)发布，转载请注明，谢谢!