SEO > 杂谈 > 百度是否遵守robots.txt协议
2011十一月25

百度是否遵守robots.txt协议

莫意思一般般还可以还不错值得推荐 4.33
37 Comments

— 此文由“SEO外链”投稿

百度不认识robot.txt,robot.txt协议成幻影!

最近,我在网上看到一篇报道,关于百度开始收录淘宝,淘宝客即将被终结。这篇文章我看了后,给我的反应就是:百度一直都没遵循robot.txt协议。下面我以图为证:

百度不遵守robots.txt协议图例

百度不遵守robots.txt协议图例

截止我投稿,相关收录量达到368000个,这到底是为什么呢?

我记得两个月前,我用自己的第一个域名 www.houbook.com 做了自己的心情日志博客,我明明写了robot.txt屏蔽蜘蛛程序了的,但是,我检查发现,蜘蛛爬行了我的网站,而且还收录了文章,奇怪了,网上的朋友不是说,写了robot.txt禁止蜘蛛爬行就行了嘛,为什么我的心情日志被收录了呢?

前两天,我在自己的另一个博客写了一篇文章,robots.txt 都禁止了,可是蜘蛛还是爬! 这篇文章也引起网友们的疑问,百度蜘蛛是怎么啦,这么一副“穷酸相”,真是可笑,中国这么大的龙头企业,居然 robot.txt 都不认识,看来,大家不要在网上写心情日志了,还是写在日记本上吧,否则百度给你曝光,成为第二个“日志门”哦!

博主建议:希望大家在阅读文章的时候,认真看完整篇文章,切勿断章取义!

你可能也喜欢:

本文标签:, ,更多SEO标签

已更新:11/26/2011

文章标题:百度是否遵守robots.txt协议
本文地址:http://www.scseoer.com/baidu-robots-txt.html
版权申明:本文原创于何清勇SEO博客«杂谈»栏目,转载请注明作者和原创地址!

37 位网友 对 “百度是否遵守robots.txt协议” 发表了看法,你呢!

  1. 评论者头像
    #1 大众教育] 回复 | 引用 Post:2011-12-09 05:01

    百度开始收录淘宝商城的首页了,连一些个人店铺的首页也收录啊!从9月份 开始的!

  2. 评论者头像
    #2 138化妆品招商网 回复 | 引用 Post:2011-12-06 17:52

    百度的地盘百度做主。。

  3. 谢谢,我终于明白了。学到了。

  4. 评论者头像
    #4 seo外链研究院 回复 | 引用 Post:2011-11-30 14:14

    我的这个域名www.web167.com 现在的robot都是禁止蜘蛛抓取的,快照一样更新! 哈哈哈

  5. 评论者头像
    #6 我来说一句就一句 回复 | 引用 Post:2011-11-29 23:53

    谷歌都不那么遵守robots.txt,何况百度乎

  6. 评论者头像
    #7 美丽女人窝 回复 | 引用 Post:2011-11-29 16:38

    人家说了算,嘿嘿

  7. 评论者头像
    #8 138化妆品招商网 回复 | 引用 Post:2011-11-29 11:20

    百度地盘百度做主。不过还是跟着他的思路走是对滴,因为我们网站流量基本上都是靠百度的。

  8. 评论者头像
    #9 球磨机 回复 | 引用 Post:2011-11-29 09:20

    没办法 百度自己说了算

  9. 评论者头像
    #10 jack 回复 | 引用 Post:2011-11-28 23:27

    何老师您好我是seo新手请问怎么能快速入门精通啊 联系方式:Jack.lv@sysauditor.com

    • 评论者头像
      #11 何清勇SEO博客 回复 | 引用 Post:2011-11-28 23:39

      推荐阅读:谷歌和百度SEO指南。SEO学习没有技巧的,如果想快,可以参加一些系统基础培训。

  10. 评论者头像
    #12 邯郸seo 回复 | 引用 Post:2011-11-28 22:29

    百度太霸道了!

  11. 评论者头像
    #13 文刀木水SEO博客 回复 | 引用 Post:2011-11-28 19:40

    呵呵 有意思! 百度非要抓淘宝 etao非要抓京东!

  12. 评论者头像
    #14 www.zunerguang.com 回复 | 引用 Post:2011-11-28 16:04

    我也这样设置过,但是还是被百度给无视了,还是访问收录了的,也搞不懂是怎么回事。

  13. 评论者头像
    #15 情侣装 回复 | 引用 Post:2011-11-28 13:55

    淘宝里好像是产品搜索不到,但很多店铺是可以搜索到的。

  14. 评论者头像
    #16 南充网站建设 回复 | 引用 Post:2011-11-28 11:06

    正确的说是百度说了算,上次我做了个实验,还是发现百度蜘蛛了

  15. 评论者头像
    #17 顺德房产网 回复 | 引用 Post:2011-11-27 22:43

    写得很好,收益颇深的~~谢谢!

  16. 评论者头像
    #18 腊肉 回复 | 引用 Post:2011-11-27 20:48

    这是百度在抢淘宝的流量

  17. 评论者头像
    #19 网赚论坛 回复 | 引用 Post:2011-11-27 17:49

    应该可以注意一下吧

  18. 评论者头像
    #20 鸡笼 回复 | 引用 Post:2011-11-27 14:33

    百度现在新站是不是收录慢。

  19. 评论者头像
    #22 地磅 回复 | 引用 Post:2011-11-27 01:26

    淘宝客应该会不会被终结吧,不然影响可大了。

  20. 评论者头像
    #24 南充人才网 回复 | 引用 Post:2011-11-26 21:30

    百度是老大 我们没有办法啊

  21. 评论者头像
    #25 淘宝网热卖 回复 | 引用 Post:2011-11-26 21:05

    第一次过来学习…… 好像有时候收录得蛮多…… 一下又不见了

  22. 评论者头像
    #26 台灯 回复 | 引用 Post:2011-11-26 15:59

    这个其实就是看百度的基础的啊 感谢分享的啊

  23. 评论者头像
    #27 推广者SEO博客 回复 | 引用 Post:2011-11-25 20:02

    没做好,收录是肯定了。

  24. 评论者头像
    #28 外贸SEO 回复 | 引用 Post:2011-11-25 16:27

    也许淘宝真是一特例吧

  25. 评论者头像
    #29 W3SO站长网 回复 | 引用 Post:2011-11-25 16:16

    ROBOTS.TXT改过之后,有一定的生效期的,你可以查一下你的日志文件,看百度蜘蛛多长时间爬你网站robots.txt一次,等百度蜘蛛再次去看你的robots.txt的时候,你的设置就应该生效了。

  26. 评论者头像
    #30 不锈圆钢 回复 | 引用 Post:2011-11-25 15:55

    投诉百度,太多事情说不清楚了

  27. 评论者头像
    #31 领袖儿 回复 | 引用 Post:2011-11-25 15:53

    百度对robots反应迟钝

  28. 评论者头像
    #32 网站优化 回复 | 引用 Post:2011-11-25 14:15

    问:我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?
    答:如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。
    《以上文字来自百度官方网站》

    • 评论者头像
      #33 何清勇SEO博客 回复 | 引用 Post:2011-11-25 15:19

      你的回复非常好,百度对robots.txt协议是遵守的,但也有不足的地方,比如:http://feier2005.taobao.com/robots.txt。

  29. 评论者头像
    #34 存倉服務 回复 | 引用 Post:2011-11-25 14:10

    百度说的算,没办法

  30. 百度开始收录淘宝商城的首页了,连一些个人店铺的首页也收录啊!从9月份 开始的!

  31. 评论者头像
    #36 无缝拼接 回复 | 引用 Post:2011-11-25 09:32

    百度自己说了算

  32. 评论者头像
    #37 何清勇SEO博客 回复 | 引用 Post:2011-11-25 01:12

    百度遵守robots.txt协议,淘宝网是一特例,用户关注度太高了。

我来说两句