通过查看蜘蛛爬行日志来学网站优化

核心提示：最近百度大更新，我想许多站长都再郁闷之中。SEO做的好好的突然之间全给K了，有些站长埋怨百度太不留情了。25号的时候我的网站也未能幸免手里的三个网站，两个的首页关键词被K了。还好我有心理准备，因为以前遇到过这种情况了，所以不会十分紧张。随后我在网上就看到了

最近百度大更新，我想许多站长都再郁闷之中。SEO做的好好的突然之间全给K了，有些站长埋怨百度太不留情了。25号的时候我的网站也未能幸免手里的三个网站，两个的首页关键词被K了。还好我有心理准备，因为以前遇到过这种情况了，所以不会十分紧张。随后我在网上就看到了大量的咨询网站首页关键词被K的问题。看来这次是百度大规模的行动，据我估计将近一半的SEO网站都受到了这样的惩罚，虽然不知道百度的目的是什么但是既然这么多人都被惩罚了，我们就没什么好担心的了。

那么如何恢复我们的网站呢？我对首页关键词被K 的经验是，找不到任何线索证明什么地方那个被百度惩罚了，因为网站的所有SEO指标会很正常，除了关键词没有排名根本看不出任何被惩罚的痕迹，但是当过一段时间大家就会发现，网站的收录量会在一个时间内忽然减少到几乎没有了。这给许多站长一个错觉，网站被百度K了，其实不是，因为你权重高的网页一个也不会少，被K的页面全部都是单页面。而且百度会在以后的几个月里重新收录你的网页直到恢复正常。既然没有根据我们如何做恢复工作就是一个头疼的问题了，难不成将所有做过的SEO都去掉。如果这样做了就要再重新的排名，没有一点挽回的余地了。

我们与百度能够交流的唯一途径就是百度蜘蛛，它可以很客观的反应出百度对我们网站的态度。查看蜘蛛爬行日志是SEO很重要的一个工作，因为掌握了这个技巧你就能够根据百度的喜好来优化自己的网站了。就那我的北京解放军261医院的网站为例：

2010-09-27 00:01:20 W3SVC703063104 WD2C176 122.70.185.23 GET /zlxm/10619.html - 80 - 123.125.66.42 HTTP/1.1 Baiduspider+（+http://www.baidu.com/search/spider.htm） - - www.261gxb.com 200 0 0 16724 207 93

这是百度蜘蛛今天爬行我网站的记录，日期我就不必说了，W3SVC703063104 WD2C176 这个是日志存放的文件，WD2C176 122.70.185.23 这个IP是蜘蛛访问你的页面地址，GET /zlxm/10619.html - 80 GET是蜘蛛访问的方式表明已经收录了这个页面。

123.125.66.42 HTTP/1.1 Baiduspider+（+http://www.baidu.com/search/spider.htm） 这串代码是代表什么搜索引擎访问的你的网站Baiduspider 是表示百度蜘蛛访问的你的页面，前面的是百度蜘蛛的IP地址。

最重要的一个地方是返回指令200，200是代表访问成功。

看懂了这些，我们就能够通过蜘蛛的爬行记录来判断网站到底是什么地方出了问题，比如说，某一个页面蜘蛛爬行次数忽然的增多或者减少，就说明百度认为这个页面有问题，那么你就要重点关注一下这个页面是不是存在过度优化的问题。如果百度蜘蛛在很多页面上都返回了错误的代码指令，那么一定要及时的修改网站，避免蜘蛛减少爬行次数，影响快照更新。

正常的蜘蛛爬行是首页次数最多，然后是栏目页，最后是内容页，首页的页面只能有一个页面被爬行，如果你有很多种形式的首页文件，最好将其他形式的文件加上robots文件或者是nofollow标签，以避免蜘蛛分不清哪一个是真正的首页页面。

文章写得不是特别全面，我会继续更新完善蜘蛛爬行方面的知识，敬请关注。 笔者：嚣帮