如何利用蜘蛛抓取记录

做搜索引擎优化的都知道，Google 和百度等搜索引擎抓取页面是靠蜘蛛程序，这个程序可以抓取页面的信息，返回到搜索引擎数据库，然后根据算法进行排名和处理。

SEO 的基本技术，就是发现、判断并分析蜘蛛程序的抓取记录，根据这个记录来对网站采取一定的措施，比如，加大更新力度，或者增加外部链接。

一般的蜘蛛记录，很多虚拟主机都提供 log 日志文件，可以下载下来然后用记事本打开进行分析，也可以下载网络上提供的专业 log 记录分析软件，我知道的国内有几款，国外也有几款，都可以实现这个功能。

如果网站是放在自己的服务器上，那么只要配置恰当，也可以生成抓取记录，而且比在虚拟主机更为方便。但是，不幸的是，国内许多虚拟主机都不提供日志记录，或者用户没有权限查看这些记录，这对 SEO 来说相当的不利。

那么，当我们得到这些抓取记录的数据时，我们要分析些什么呢？首先，我们要分析各种蜘蛛来访的情况，抓取的是首页还是内容页，抓取的频率怎么样，然后还要分析抓取的状态码，最后要结合网站收录情况，做一个综合的分析，得出下一步的 SEO 办法。

»2 条评论

1. 浩泽活水站 http://sym006.cn 评论于 2009-12-30 在 16:54

   很实用 很经典

2. 梁文忠 http://www.0757seo.com/ 评论于 2009-12-31 在 21:16

   元旦快乐，新的一年新的收获