百度是否遵守robots.txt协议
— 此文由“SEO外链”投稿
百度不认识robot.txt,robot.txt协议成幻影!
最近,我在网上看到一篇报道,关于百度开始收录淘宝,淘宝客即将被终结。这篇文章我看了后,给我的反应就是:百度一直都没遵循robot.txt协议。下面我以图为证:
百度不遵守robots.txt协议图例
截止我投稿,相关收录量达到368000个,这到底是为什么呢?
我记得两个月前,我用自己的第一个域名 www.houbook.com 做了自己的心情日志博客,我明明写了robot.txt屏蔽蜘蛛程序了的,但是,我检查发现,蜘蛛爬行了我的网站,而且还收录了文章,奇怪了,网上的朋友不是说,写了robot.txt禁止蜘蛛爬行就行了嘛,为什么我的心情日志被收录了呢?
前两天,我在自己的另一个博客写了一篇文章,robots.txt 都禁止了,可是蜘蛛还是爬! 这篇文章也引起网友们的疑问,百度蜘蛛是怎么啦,这么一副“穷酸相”,真是可笑,中国这么大的龙头企业,居然 robot.txt 都不认识,看来,大家不要在网上写心情日志了,还是写在日记本上吧,否则百度给你曝光,成为第二个“日志门”哦!
博主建议:希望大家在阅读文章的时候,认真看完整篇文章,切勿断章取义!
你可能也喜欢:
本文标签:robots.txt, 百度蜘蛛,更多SEO标签。
文章标题:百度是否遵守robots.txt协议
本文地址:http://www.scseoer.com/baidu-robots-txt.html
版权申明:本文原创于何清勇SEO博客«杂谈»栏目,转载请注明作者和原创地址!

百度开始收录淘宝商城的首页了,连一些个人店铺的首页也收录啊!从9月份 开始的!
百度的地盘百度做主。。
谢谢,我终于明白了。学到了。
我的这个域名www.web167.com 现在的robot都是禁止蜘蛛抓取的,快照一样更新! 哈哈哈
呵呵,你牛逼,把robots.txt中的空格删除,就这样保持下去,很好很强大。
谷歌都不那么遵守robots.txt,何况百度乎
人家说了算,嘿嘿
百度地盘百度做主。不过还是跟着他的思路走是对滴,因为我们网站流量基本上都是靠百度的。
没办法 百度自己说了算
何老师您好我是seo新手请问怎么能快速入门精通啊 联系方式:Jack.lv@sysauditor.com
推荐阅读:谷歌和百度SEO指南。SEO学习没有技巧的,如果想快,可以参加一些系统基础培训。
百度太霸道了!
呵呵 有意思! 百度非要抓淘宝 etao非要抓京东!
我也这样设置过,但是还是被百度给无视了,还是访问收录了的,也搞不懂是怎么回事。
淘宝里好像是产品搜索不到,但很多店铺是可以搜索到的。
正确的说是百度说了算,上次我做了个实验,还是发现百度蜘蛛了
写得很好,收益颇深的~~谢谢!
这是百度在抢淘宝的流量
应该可以注意一下吧
百度现在新站是不是收录慢。
因素较多,主机稳定性、页面质量、robots.txt、网站地图文件等等。
淘宝客应该会不会被终结吧,不然影响可大了。
百度遵守robots.txt的,淘宝客多注意站内和页面质量,应该还是可以做的。
百度是老大 我们没有办法啊
第一次过来学习…… 好像有时候收录得蛮多…… 一下又不见了
这个其实就是看百度的基础的啊 感谢分享的啊
没做好,收录是肯定了。
也许淘宝真是一特例吧
ROBOTS.TXT改过之后,有一定的生效期的,你可以查一下你的日志文件,看百度蜘蛛多长时间爬你网站robots.txt一次,等百度蜘蛛再次去看你的robots.txt的时候,你的设置就应该生效了。
投诉百度,太多事情说不清楚了
百度对robots反应迟钝
问:我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?
答:如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。
《以上文字来自百度官方网站》
你的回复非常好,百度对robots.txt协议是遵守的,但也有不足的地方,比如:http://feier2005.taobao.com/robots.txt。
百度说的算,没办法
百度开始收录淘宝商城的首页了,连一些个人店铺的首页也收录啊!从9月份 开始的!
百度自己说了算
百度遵守robots.txt协议,淘宝网是一特例,用户关注度太高了。