百度关于robots的一些技术问题

SC-SEO.COM 写于 2010-06-03 在 19:52

最近一直关注百度的一些SEO的细节问题，经过几天对百度官方的言论进行分析，对百度 robots 文件支持的细节做了一些探索，与大家分享。

robots 文件屏蔽掉的网页是不会被抓取和收录的

Robots 掉的网页，如果互联网上其他网页链接并描述了这个网页的内容，我们会把这些描述信息建入索引，但 Robots 掉网页我们不会抓取，网页内容也不会收录。

robots 可能会导致搜索结果 title 不一致

造成搜索结果中显示标题与实际标题不一致的主要原因可能是tag title提取失败，系统只好从其他地方取了一些文本作为标题。这种提取失败的原因，有网页设计层面的（比如全是flash或者ajax），也有 robots 封禁层面的（某些重要网页虽然不抓取，但会保留url本身）。

robots 禁止抓取 js 和 flash 对百度很友好

javascript的解析，是很多搜索引擎正在做的事情；同理，对flash的解析。毕竟有那么多应用javascript或者flash的网站，并没有意识到，他们的做法给搜索引擎的收录和索引带来的麻烦。所以，如果期望不被搜索引擎收录的话，最直接的手段，还是写robots文件。

robots 文件中写 sitemap.xml 暂时不被百度支持

百度暂时还没支持通过robots提交Sitemap。一般情况下，spider能处理大多数网站的数据抓取和更新，而无须借助sitemap。

这篇文章的类别属于百度优化http://www.sc-seo.com/html/baidu-robots-technology.html

文章标签:


»2 条评论

  1. 烟台SEO http://www.ningseo.com 评论于 2010-06-04 在 20:29Notify

    呵呵，支持你！

  2. sc-seo.com 评论于 2010-06-04 在 21:07Notify

    @烟台SEO 如果你不是机器评论 请回复文章相关内容 不要灌水或者含糊不清的回答

»请您评论：

成都易搜SEO网站优化团队与网络营销专家，专业品质值得信赖。