SEO > 杂谈 > 搜狐博客robots.txt出现低级错误
2011八月31

搜狐博客robots.txt出现低级错误

莫意思一般般还可以还不错值得推荐 4.80
32 Comments

关于robots.txt文件,它是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

下面是搜狐博客的robots.txt文件:

搜狐博客robots.txt出现低级错误

搜狐博客(blog.sohu.com)robots.txt 文件

由于搜狐博客下面的会员博客是采用二级域名,下面是任意会员博客的robots.txt文件:

 搜狐博客会员(xieguozhong)的 robots.txt文件

搜狐博客会员(xieguozhong)的 robots.txt文件

从上面可以看出,搜狐博客robots.txt文件中出现的低级错误,将正确代码:

User-agent: Googlebot

Disallow:

错误的写成(可能是复制的时候少掉了):

ser-agent: Googlebot

Disallow:

这只是一个字母的丢失,结合最后的:

User-agent: *

Disallow: /

来看,搜狐博客已经将谷歌搜索引擎的爬虫程序拒之门外,下面是搜狐博客在谷歌的表现情况:

在 google 中直接搜索 blog.sohu.com

在 google 中直接搜索 blog.sohu.com

在谷歌使用site:命令查询结果:

在 google 使用 site 命令查询搜狐博客截图

在 google 使用 site 命令查询搜狐博客截图

在平时的SEO工作中,robots.txt文件的正确书写至关重要,还记得上次本博客也是因为该文件的失误,导致博客被谷歌K掉,如果不能正确的使用robots.txt文件,还不如不写。

搜狐博客robots.txt问题已经修正

User-agent: Googlebot

Disallow:

User-agent: baiduspider

Disallow:

User-agent: Nutch

Disallow:

User-agent: msnbot

Disallow:

User-agent: Slurp

Disallow:

User-agent: *

Disallow: /

你可能也喜欢:

本文标签:,更多SEO标签

已更新:01/04/2012

文章标题:搜狐博客robots.txt出现低级错误
本文地址:http://www.scseoer.com/blog-sohu-com-robots-txt.html
版权申明:本文原创于何清勇SEO博客«杂谈»栏目,转载请注明作者和原创地址!

32 位网友 对 “搜狐博客robots.txt出现低级错误” 发表了看法,你呢!

  1. 评论者头像
    #1 小说下载 回复 | 引用 Post:2011-09-09 13:44

    那里有十全十美的事情呢,总是有错误的

  2. 评论者头像
    #2 淘宝热卖网 回复 | 引用 Post:2011-09-08 16:51

    robots.txt文件很伤心啊.我的网站想只让百度爬行,结果弄来弄去,搜搜与搜狗等还是时不时收一点.还有一些什么搜索引擎疯狂爬行.

    • 评论者头像
      #3 何清勇 回复 | 引用 Post:2011-09-08 17:01

      只对百度开放,其余爬虫全部屏蔽就可以了噻,还弄什么?

      User-agent: Baiduspider
      Disallow:
      User-agent: *
      Disallow: /

  3. 评论者头像
    #4 苏州SEO 回复 | 引用 Post:2011-09-08 09:31

    监管部门不给力啊,像搜狐这种大公司,每个修改或者说上线的东西都应该有几道审核,出现这种低级错误,应该有很多人要被拉过去批了。

  4. 评论者头像
    #5 减肥药排行榜 回复 | 引用 Post:2011-09-06 08:30

    应该是复制的时候出了错误

  5. 评论者头像
    #6 pe培训 回复 | 引用 Post:2011-09-05 17:31

    大公司低级错误见得多了。

  6. 评论者头像
    #7 鸿星尔克板鞋 回复 | 引用 Post:2011-09-05 15:09

    应该很快会更新吧。

  7. 评论者头像
    #9 武汉SEO黄镇 回复 | 引用 Post:2011-09-04 11:17

    悲剧阿,,这都被何兄发现了,,狠阿,,可以通知通知搜狐阿,哈哈

  8. 评论者头像
    #10 得道SEO 回复 | 引用 Post:2011-09-04 09:14

    过来拜访一下

  9. 评论者头像
    #11 掏宝网购 回复 | 引用 Post:2011-09-03 19:47

    好细心啊~~~

  10. 评论者头像
    #12 北京回收红酒 回复 | 引用 Post:2011-09-03 14:38

    没人相信它会真的要屏蔽谷歌

  11. 评论者头像
    #13 沈阳seo培训 回复 | 引用 Post:2011-09-03 12:05

    希望来我博客留言

  12. 评论者头像
    #14 暖手宝 回复 | 引用 Post:2011-09-02 22:47

    robots.txt 没写过,不知道怎么做!

  13. 评论者头像
    #15 杭州搬家公司 回复 | 引用 Post:2011-09-02 20:17

    有点不太懂,要多学习了。

  14. 评论者头像
    #16 朴乐村 回复 | 引用 Post:2011-09-01 17:07

    真的是想不到啊,不过再怎么厉害的也总会出错的

  15. 评论者头像
    #17 朴乐村 回复 | 引用 Post:2011-09-01 17:04

    楼主真的很认真啊,这样的问题都被你发现了

  16. 评论者头像
    #18 东莞SEO 回复 | 引用 Post:2011-09-01 16:50

    呵呵 确定低级

  17. 书写错误应当是当作失效的吧

    • 评论者头像
      #20 何清勇 回复 | 引用 Post:2011-09-01 17:26

      用谷歌网站管理员工具检测到的错误是:
      1、语法错误;
      2、为指定User-agent;
      3、Googlebot不在域中。

  18. 评论者头像
    #21 激光喷码机 回复 | 引用 Post:2011-09-01 15:03

    现在关于SEO的就主要是细节的问题

  19. 评论者头像
    #22 导热油 回复 | 引用 Post:2011-09-01 09:14

    真是不如不写

  20. 评论者头像
    #23 西安SEO 回复 | 引用 Post:2011-09-01 08:50

    和好,不错啊

  21. 评论者头像
    #24 北京SEO 回复 | 引用 Post:2011-08-31 23:57

    他为什么要屏蔽蜘蛛呢?博客类的怎么写呢?

    • 评论者头像
      #25 何清勇 回复 | 引用 Post:2011-09-01 09:00

      搜狐博客的robots.txt错误应该是失误。robots.txt的写法是根据网站程序来决定的,和网站类别木有关系。

  22. 评论者头像
    #26 小说阅读网 回复 | 引用 Post:2011-08-31 22:52

    啧啧,想不到搜狐居然也能犯这种失误。。。没人相信它会真的要屏蔽谷歌,不知道是哪个技术人员写的robots啊

  23. 评论者头像
    #27 北京spa 回复 | 引用 Post:2011-08-31 22:13

    你好,来看看你

  24. 评论者头像
    #29 法学专业排名 回复 | 引用 Post:2011-08-31 20:07

    大佬也有失误的时候呀

  25. 评论者头像
    #30 快播电影网 回复 | 引用 Post:2011-08-31 20:05

    看不太懂。呵呵

  26. 评论者头像
    #31 seo兼职 回复 | 引用 Post:2011-08-31 19:35

    经典啊~~

  27. 评论者头像
    #32 体验SEO 回复 | 引用 Post:2011-08-31 18:39

    作者挺细心的。我刚接触SEO。。还要多多指教

我来说两句