2012-02-16 10:59:13 GET / – 123.125.71.94 HTTP/1.1 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html[......]

阅读全文

搜索引擎与SEO行为间是一种良性的共生关系，比如很多优质的网站是用Flash或者Ajax做的，搜索引擎就无法很好的爬取和索引。建站者在了解了SEO的一些基本原理后，可以通过对网站的合理优化，使这些优质资源更好的发挥其检索效果，改善用户的搜索体验。

一个搜索引擎最基础的工作是抓取网页，向有需求的用户进行展示，而抓取更毒相对优质的网页更能体现一个搜索引擎的专业度，特别是对于全球[......]

阅读全文

百度搜索SEO结果变化

百度提示您：不要轻信seo公司的说辞和案例，不正当的seo可能会给您的站点造成风险。建议广大站长对站点进行seo之前，参考阅读百度的官方指南。

随着SEO行业不断发展，SEO人员不断增多，各种作弊方式越来越多，这也是导致百度出现该提示的主要原因。

从提示不难发现，一些不正当SEO手法（黑帽SEO）将越来越受到排斥，无论是百度搜索引擎自身，还是面对的SEO客户，都将警惕SEO手法给自身网站带来的危害，后面提醒站长对网站进行SEO优化操作的时候请参阅百度SEO指南（2.0版[......]

阅读全文

URL长度：百度建议url的最长长度不超过255byte。

处理方式：一般URL的长度不宜过长，首先过长的URL不便于用户记忆，另外从爬虫的角度看（非必要），也不便于从URL理解网页内容。如果你的URL是经过伪静态处理，那么，这点一般都没有什么问题。

静[......]

阅读全文

的确，无论是在百度还是谷歌的搜索结果中，有时候会遇见这样的问题，点击搜索结果后很难找到实际的网页内容，这样的网页对用户体验方面考虑的可能实在太少。至少用户希望点击后就能直接看到内容，而不是不停地下拉滚动条，冒出一条接一条的广告。因此，那些没有提供首屏内容的网站可能会受到谷歌本次算法调整的影响。点击一家网站后，如果您第一眼看到的网页上没有大量的[......]

阅读全文

1、聚焦爬虫工作原理及关键技术概述

网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统[......]

阅读全文

百度校园大规模机器学习与数据挖掘主题研究项目总共收到了来自全国各大高校及学术机构的数十份研究方案，经过百度公司由资深技术专家构成的专家委员对所有方案进行的认真，仔细的讨论及评[......]

阅读全文

对于前期学习SEO，对SEO的第一印象和认识是非常关键的，这会影响到以后学习的进度和操作方式，甚至可能包括整个优化思维，目前互联网有关SEO的资料多如牛毛，每家每户对SEO都可能是不[......]

阅读全文

百度快照后的喜欢图标

百度搜索引擎在自身搜索结果中做添加或引用的数据一直都没有什么变化，除了前期对自身开放平台中的数据进行测试外，很少会引用网页内一些比较有用的标签数据，上次开放平台的那个图标是可以点击的，而目前只是显示数据。

对于这次百度搜索结果的快照后面的“喜欢”图标，网站猜测的朋友也很多，大致为浏览器或安装相关软件问题，也有朋友猜测是调用百度[......]

阅读全文

知己知彼方能百战百胜，在这里，知己就是了解我们自己的网站，作为一个站长来讲，连自己的网站程序都做不到足够的了解，那么怎么去知彼呢？怎么去超越竞争对手呢？所以，你真的了解自己的网站程序么？

可能有的同学会说，当然了解了，我的网站是用的 dedecms 做的，再加上一个 ecshop 做商城，又加了一个 dx 做论坛，还有一个 wordpress 做博客，然后用 ucenter 整合用户，这几[......]

阅读全文

robots.txt 是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt 文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

由于每个网站的实际配置和要求不一样，很多主机对流量的限制相对比较严格，一个网站的流量限制不止是普通用户浏览产生，搜索引擎的爬虫程序也会消耗很多流量，特别是抓取比较大的文件（比如视频或者图片）的时候，会让流量飙升，加上主机对流量的限制，进而可能会影响到普通用户浏览网页，所以我们可以通过 robots.tst 文件来限制搜索引[......]

阅读全文

有站长在 Google webmaster help 论坛中说自己的网站被降级。Google JohnMu 回复称，网站含有大量空白 HTML 页面被 Google bot 判定为大量重复内容而导致网站降权。结论[......]

阅读全文

如果你注意了URL标准化，那么，当用户进行首页的时候，浏览器的地址显示的地址应该是你规定的标准化地址，本博客为“www.scseoer.com”，查询“scseoer.com”的返回码应该是301，“www.scseoer.com”的返回状态码是200，当然如果你还有首页的其他URL（比如网站的默认[......]

阅读全文

一般来说，以下三种较为传统的联系方式是必备的：

1、电话号码

作为网站上最基本、也是最必不可少的联系方式，也是绝大部分潜在客户首选的咨询方式。除公司座机电话外，还可以提供手机号码、400/800免费电话等。特别是[......]

阅读全文

在网站上提供价格信息时，以下几点需要提醒您注意：

1. 突出优惠或促销信息。如果您正在开展优惠或促销活动，要在页面显著位置予以宣传，并说明参与办法，从而提高优惠或促销活动的影响力。特别是如果您在关键字的标题描述标有“促销”、“优惠”之类的字样，请务必在目标网页的显著位置明示产品价格和促[......]

阅读全文

根据研究，产品展示如达到以下标准，将更能吸引潜在客户的注意力，激发其咨询、购买的欲望：

产品介绍充足、详尽

对潜在客户来说，产品介绍提供得越详细越好，越能帮助他们了解产品。潜在客户希望了解的信息可能包括：产品规格、价格优惠、包装大小、功能用途、指标参数、售前售后服务条款（资料/试用品的提供、专业技术咨询、货运条件、维修费用、维修成本）等。

这些信息建[......]

阅读全文

对于网站降权问题，个人博客遇见过三次这样的情况：

• 谷歌K掉博客首[......]

阅读全文

要通过目标网页有效地吸引并留住潜在客户，需要注意以下几点：

您的潜在客户需要了解与搜索关键字相关的信息，希望您的网站直观地告诉他：您是否提供[......]

阅读全文

潜在客户的浏览体验

潜在客户的浏览体验，可称之为“好看的”要素，就影响使用体验的网页要素而言，版面结构、色彩搭配、文字排版、图片等都会影响到潜在客户对网站的印象。

潜在客户的交互体验

潜在客[......]

阅读全文

用户浏览器与网站服务器之间交互过程

以上图示简单地显示了用户浏览器与您的网站服务器之间发生交互的过程，从用户点击搜索结果到看到目标网页内容，其发生了为数不等的以上过程（数量取决于您网站的设计），我们所指的网页打开速度也就是这些过程所耗费的时间之和。

根据研究，网页打开速度最好保持在5秒内[......]

阅读全文

对于这些问题，一个最简单的方法就是邀请您身边的朋友（对电脑和网络有基本了解的人选即可）对您的网站进行实地测试，您可以在一旁观察这位“用户”的使用过程，认真聆听他对于您网站的意见。这一过程可以从搜索您的关键词开始，到“用户”初步做出购买决策，即决定选择哪一个商家为止，以涵盖影响您的推广转化效果的各个环节，并尽量真实地模拟潜在客户的视角。[......]

阅读全文

用户行为路径图解

上面这张图片显示了一个企业网站的潜在客户从访问搜索引擎、通过关键词搜索、浏览您的网站到与您达成交易的一系列行为路径，这一过程中涉及到几个重要环节，比如，用户搜索的关键字能否准确定位您的潜在客户，搜索结果中的描述内容能否潜在客户进行点击（关键词的选择与搜索结果优化），您可以邀请专业的SEO人员或一些顾问团队可以协助您进行优化，但以下4点需要通过您的网站上实现，这4点也将对您的网站推广效果产生很大的影响，包括：

网页能完整呈现在潜在客户的面前，[......]

阅读全文

SEO这个行业的节奏可能相对较快，一段时间不接触，不去了解，可能觉得有点跟不上脚步，前几天写了一篇“SEO行业做付费推广”的文章，这篇主要是由于我在百度搜索“SEO优化”这个词发现搜索结果中有不少做付费推广的结果，文章开始是用实际事例来说明SEO行业与付费推广的关系，后面给出了自己的看法。

SEO与付费推广不冲突，传统企业可以尝试两者并用，[......]

阅读全文

1. 每天的网站点击量还可以，有客户来电咨询但不多
2. 安装了流量监控工具，发现大部分访客在网站上的停留时间都很短
3. 认识一些实力相当的同行，知道大家提的词和排名都差不多，但他们的推广效果似乎更好
4. 对已经建好的网站不满意，但说不清哪里不好，也不知道做到什么程度才叫好

作为企业推广的利器，搜索引擎推广为您的网站带来了可观的访问量。每一次搜索点击都代表着一位有意向的网络用户，他们希望通过您的网站获取感兴趣的产品/服务的信息，并在比较、评[......]

阅读全文

SEO就类似与在搜索引擎的搜索结果中给自己做广告，而且这种广告是自然的。

随着SEO概念和这种优化观念的深入，很多企业已经逐渐认识到它的重要性，这也使得SEO慢慢逐渐形成一个小的行业，一些传统的网站建设公司也开始进入SEO优化行业，为众多传统企业提供服务，在服务于客户的同时，自[......]

阅读全文

“存在漏洞：该主机网站使用存在漏洞的旧版dedecms程序，并且正在发包，须升级至最新版本或打全补丁。”

解决方式也比较简单：

1. 首先清理下“/plus/”、“include”文件中的陌生文件；
2. 根据目前的DEDE程序版本及时打上补丁；
3. 依次升级DEDE程序为最新版；
4. 进入模版文件，清理模板文件中的黑链，重新生成整站网页。

个人对D[......]

阅读全文

百度不认识robot.txt，robot.txt协议成幻影！

最近，我在网上看到一篇报道，关于百度开始收录淘宝，淘宝客即将被终结。这篇文章我看了后，给我的反应就是：百度一直都没遵循robot.txt协议。下面我以图为证：

百度不遵守robots.txt协议图例

截止我投稿，相关收录量达到368000个，这到底是为什么呢？

我记得两个月前，我用自己的第一个域名 www.houbook.com 做了自己的心情日志博客，我明明写了robot.txt屏蔽蜘蛛程序了的，但是[......]

阅读全文

阅读全文

Follow5是专注于分享的微博，致力于使分享变得更轻松、更方便、更自由。把此时此刻，你正在做什么、想什么、看到什么记录下来，分享给其他人。并且在微博下面显示follow5，Follow5于2009年8月6日正式开放注册。遗憾的是Follow5于2011年11[......]

阅读全文

“截至2011年6月底，中国网民规模达到4.85亿，较2010年底增加2770万人，增幅6.1%，截至2011年6月底，搜索引擎用户规模达到3.86 亿，较2010年底增长1153 万人，半年搜索引擎使用增长率3.1%，搜索引擎使用率79.6%。”

对于社交网络，目前国内比较有影响力的是新浪微博和腾讯微博，在国外来讲，则是Twitter、Facebook；对于搜索引擎，全球性的谷歌与国内的中文百度稳居榜首。

阅读全文

1、百度权重值是怎么来的，一些网站会对网站的权重赋予一个值，特别是[......]

阅读全文

可能你对你的行业非常的了解，在你所在的行业可能你就是专家，但你的用户可能确不是这样。我们选择关键词的目的是确保网页内容被集中在有价值的关键词上面，所以这样选择你可能并不会有什么损失。

关键词价值体现在将你的内容展示在合适的用户面前，或者说真正需要的用户展示的正确[......]

阅读全文

关于404错误，在百度搜索的时候，发现百度知道里面的一个很有趣的问题：

问：一上网就显示Error 404 – Not found The document you requested is not found.

一上网就显示 Error 404 – Not [......]

阅读全文

在robots.txt文件中，搜索引擎允许网站管理员将一些目录或者文件进行屏蔽，但有时候如果滥用robots.txt文件，可能会屏蔽一些重要内容，这样谷歌就会提示网站处于[......]

阅读全文

2011-10-30 18:06:37 HEAD /wp-content/uploads/2011/07/baidu-caishenkezhan.jpg – 123.125.71.26 HTTP/1.1[......]

阅读全文

大型公司往往组织结构比[......]

阅读全文

百度站长平台是一个服务于百度网页收录的数据提交平台。借助百度站长平台，我们可以：

1. 向百度推送您网站希望被百度收录的数据；
2. 在一定程度上减轻抓取产[......]

阅读全文

文章的题目才是文章的生存力，你看完这篇文章后感触很深，看不懂看两遍，我不会把浅显的道理写出来，需要你们去领悟，授人以鱼不如授人以渔！

跟我合租的兄弟比我几个月，别看个头不高，但人家年纪轻轻就是一家大型国有企业的人力资源经理，这可不是吹，是人家的确有这个实力！

我们每天晚上都在家做饭吃，我在家是一个很懒的人，厨艺更不用提，但是，我那兄弟不仅能做各种各样的菜，而且味道还不错，我只能惊叹自己，不仅没有地位，工资也不值一提，做事情总是拖拖拉拉，怨声载道，[......]

阅读全文

站长工具的友情链接检测界面

该工具域名“link.chinaz.com”对应的IP为“222.77.187.33”，位于福建省福州市。

百度蜘蛛IP（根据网站日志文件统[......]

阅读全文

我想过滤掉那些一开始就要求我把关键词做到第一的客户咨询，我相信除了像拥有20多年的SEO牛人迈克·摩尔以外，没有几个可以控制搜索引擎的排序结果，况且那些发生在谷歌搜索引擎，对于中文搜[......]

阅读全文

通俗的讲，站内优化更像是在做一个更加标准、更让用户喜欢的网页，从这个角度出发去思考，就可以得到站内优化需要做的一些东西。

由于蜘蛛程序对网页代码的要求较高，但网页代码的标准化不仅仅为蜘蛛程序而做，因为你面对的可能更多的使用不同浏览器的用户，[......]

阅读全文

蜘蛛程序不太喜欢爬行太过于臃肿的网页，为了保持自身的高效率运行，蜘蛛程序花同样的时间可能会爬取更多精简的网页，每个蜘蛛程序都有自己的限制程序，太大的网页可能会导致不能完全爬行，甚至根本不去爬行这[......]

阅读全文

蜘蛛陷阱是组织蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，目前很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序赞成障碍，如果消除这些蜘蛛陷阱，可以是蜘蛛程序收录更多的网页。

很对蜘蛛陷阱都是先进的技术方法，开发成本相对也较大，但是这些的确会影响搜索引擎对你网站的了解，甚[......]

阅读全文

一、单页网站跳出率往往较高

如果您的网站只有一个网页（如博客），网页统计工具不会记录多次浏览，除非用户重新载入该网页。因此，单页网站的跳出率通常较高。

二、统计代码出错

如果您的网站拥有多个网页，但跳出率仍然较高，那么就需要查看是否为所有的网页添加了统计[......]

阅读全文

文笔流畅，并要经常更新：网站的内容实用而有趣是优质博客的必备条件，而经常更新的博客更容易吸引读者光顾。与其每天都发布蹩脚内容，还不如每周发表一篇精彩的博文。建议通过搜索引擎搜索熟悉领域中感兴趣的主题。如果找不到合适的结果，可以自己写一篇关于该主题[......]

阅读全文

以前说过网络推广与网络营销，其中SEO只是网络推广中很多方式之一，其最终是为了营销服务，SEO的中文意思是搜索引擎优化，获取网页流量，从流量中筛选用户的平台是搜索引擎，那么，除了搜索引擎可以给[......]

阅读全文

其实，谷歌公司在很多领域都面临激烈的竞争，但仍然在很多行业积极创新，并且秉承开放的理念，方便用户访问与之竞争的服务。针对这次FTC的调查，Google执行董事长埃里克·施密特表示，主要还是竞争对手的投诉，而且施密特也表示：“希望调查过程能以有针对性且公平的方式展开，方便我们继续创造就业岗位，并开发令用户满意的产品。”

施密特表示，Google的成功源[......]

阅读全文

• 用户行为分析
• 基于用户行为的启示
• 用户需求:目标、行为、说法
• 用户行为的特征及缓存的应用
• 用户行[......]

阅读全文

• 如何提高网站收录量
• 百度收录与敏感词汇
• 新站网站收录问题
• 网页性能优化

搜索引擎爬虫程序进入网页的方式是通过链接，抓取网页链接的方式是广度和深度，但从自身服务器的资源消耗来看，一般会考虑广度优先策略。

对于搜索引擎来讲，自身服务器中不会存在很多对于用户意义不大的网页内容，首先这样可以降低自身服务器资源的占用，另外对于搜索结果的用户体验，也有很大的帮助[......]

阅读全文

利用百度统计中的网站速度测试对博客的测试结果

测试点：北京电信、北京网通（百度蜘蛛的爬行可能没有那么好）

对于网站速度方面的提升，对于网页性能方面的改善有很大的作用，网页速度得分越高，网页性能越好，那么，爬虫程序在同等条件下，爬行的数量就可能越多，那么，收录量可能就会更好点。百度统计这个网站速度测试工具与谷歌的 Page[......]

阅读全文

反向链接是搜索引擎蜘蛛程序在爬行或者编制索引的过程发现的链接信息，谷歌对于这些信息不会全部列出，而是列出所谓精选的网页信息，这也是我们为什么以yahoo的查询结果作为参考，因为yahoo的查询数量更接近真实值，而百度的domain命令则是查询域名相关分布信息。

谷歌link:命令查询出来的反向链接一般是：[......]

阅读全文

1. 刚刚听说SEO，我很有兴趣，我该如何学习？
2. 我不会程序，能学习好SEO吗？
3. 我给网站做了大量的外部链接，但一点效果都没有，SEO该如何做？

其实每个人都是从不懂开始学习，一般最先接触的都是理论知识，带着这些理论，同时自己的实践去证明这些理论，从实践中发现问题，通过搜索或咨询的方式来解决问题，最后慢慢形成一套属于自己的SEO思路。

阅读全文

我是博客的编辑，同时也是读者，在很多时候，自己会经常看看曾经转载和原创的一些文章，在阅读的过程中经常会发现一些问题，最基本的文字错误就不少，还有一些是思路上的，可能以前的想法过于粗燥，所以在阅读的过程发现问题，会立即编辑该文章。

另外，当对以前写过的内容有新的认识，也就会直接对以前发布的信息直接进行更改，不喜欢重新再写一篇来描述同一个问题，[......]

阅读全文

谷歌爬虫在抓取中遇见到的软404错误

经常使用谷歌网站管理员工具的朋友可能会在故障诊断中的抓取错误中发现一些软404错误提示，在以前的“404错误对网站的影响”一文中提到过软404。

一般情况下，当请求的网页发生错误的时候，会出现两种错误代码信息，一种就是我们经常说的404，另一种就是软404。

按正常的思路，当一个网页不存在的时候，会返回一个404代码来表示，软404是这些不存在的网页返回的不是正常的404错误代码，而是200代码（日志代码）。

• 软404：向用户返回[......]

阅读全文

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

下面是搜狐博客的robots.txt文件：

搜狐博客（blog.sohu.com）robots.txt 文件

由于搜狐博客下面[......]

阅读全文

• 分析系统日志、服务器日志，检查自己站点的页面数量、流量等是否有异常波动，是否存在异常访问或操作日志；
• 检查网站文件是否有不正常的修改，尤其是首页等重点页面；
• 网站页面是否引用了未知站点的资源（图片、JS等），是否被放置了外站的异常链接；
• 检查网站是否有不正常增加的文件或目录；
• 检查网站目录中是否有非管理员打包的网站源码、未知tx[......]

阅读全文

搜索引擎与SEO行为间是一种良性的共生关系，比如很多优质的网站是用Flash或者Ajax做的，搜索引擎就无法很好的爬取和索引。建站者在了解了SEO的一些基本原理后，可以通过对网站的合理优化，使这些优质资源更好的发挥其检索效果，改善用户的搜索体验。

同时，对于中国这样的新兴市场，传统的中小企业对于如何触网，如何做互联网营销，并无多少经验，在广大的[......]

阅读全文

在百度SEO中，我们都希望看见百度更新，因为百度更新了，我们的网站关键词排名可能就上升了，特别是遇见大更新，那让更多SEO人爽的不得了，所以，百度更新成为众多SEO关注重点，而百度更新时间相信大家都非常清楚了。

按照以往的经验，百度在周三[......]

阅读全文

网页内部链接数量得站在全局看问题。链接数量过多，每个链接得到的权重就越小，但如果A页面给B页面的链接多，C页面给A页面的也就越多（A、B、C不代表单个页面），这样综合起来也就差不多平衡了，犹如大型门户网站，页面链接几百甚至上千，页面多了，也就不寸在什么流失了。另外LEE曾经提过，如果网页体积太大，造成抓取不完全，但链接信息提取是完整的，搜索引擎提取链接的数量超乎我们的想象。

2、现在URL中带关键词作用大不大？

有作用，但很小，是很多因素中的一点，而[......]

阅读全文

在找到合适的音乐后，在分享代码后面加上下面的代码：

&autoPlay=true&loop=true

加入以上代码保存后，音乐播放器将会自动播放所选歌曲。

阅读全文

随着时间的增长，对于80后的我们来讲，压力都变得很大，对自身的认识也变得更加清晰，职业规划变动之前往往也会深思熟虑再做决定，个人属于比较恋家的那种，无论是个人发展还是家庭因素，回川发展是最终决定。对于深圳这边的朋友，很舍不得，几年了，感情都非常好，今天一位老上司说道：天下没有不散的宴席。大家首先要保护好身体，对于这么美丽的深圳，以后肯定会来看望[......]

阅读全文

谷歌网站管理员工具的这一新功能可在多种情况下为站长提供帮助：如果我们刚刚推出了一个新网站，或者增加了一些重要的新页面，您可以要求Google[......]

阅读全文

Google默认LOGO标志

谷歌给站长的小惊喜

习惯性进入谷歌网站管理员工具查看信息，在没有登录账户的时候，谷歌主页显示的是默认的LOGO标志，成功登录账户后，默认的LOGO改善了，第一感觉还以为又是什么纪念日子，讲鼠标放在LOGO图片上，图片提示文字为“生日快乐，清勇！”（图片的Alt标签和链接的Title标签），链接URL是个人资料页面。

谷歌搜索引擎在很多细节影响着站长，从谷歌网站管理员工[......]

阅读全文

搜索引擎优化（SEO）作为低成本的搜索引擎营销（SEM）方式被电子商务行业高度关注，SEO人才需求也大幅上升，下面是SEO人才网的一份分析报告，从SEO流量价值、人才市场、SEO人才供求各方面进行了综合分析。

“腾讯科技讯（雷建平[......]

阅读全文

关键词“SEO”在百度的区域排名结果

数据标准化是指对于用户搜索的各组数据，搜索引擎都会先用其除以一个通用变量，以便消除该变量对数据产生的影响。通过这种方式，用户可以对各组数据的内在特征进行比较。如果不对这些结果进行标准化，而是显示绝对评级，那么来[......]

阅读全文

请不要参与旨在提高您的网站排名或 PR值 的链接方案。尤其要避免链接到违规的网站或“恶邻”，因为您自身的排名会受到这些链接的负面影响。

对于友情链接的暂时降权，特别是建立在友情基础上的链接，如果直接撤掉，有点不够厚道，呵呵，如何既不会受到暂时降权的友情链接对网页权重的影响，又能给普通用户正常的推荐（显示）友情链接，这时候我们可以暂时给友情链接加上 nofollow 标签[......]

阅读全文

在将近两年时间之后，人们仍然在发表关于这一问题的看法，通常都是这么开头“来自Susan Moskwa的惊人消息：……”。这一事实表明，PageRank在很大程度上已经成为某些网站站长的必需统计工具。即使是我曾经交流过的最没有经验的网站站长，也经常听说PageRank（简称“PR”），并且想知道更多[......]

阅读全文

阅读全文

目前，Web主题信息搜集的主要方法来源于S. Chakrabarti 于1999年构建的Foused Crawling系统，该系统采用基于样例网页驱动的主题信息的搜集方法，所搜集的主题信息由用户通过选定样例网页来确定，并基于如下的假设：

如果页面u 是一个与主题相关的页面（正例），u到页面v 有一个超链，则页面[......]

阅读全文

本章第一节介绍面向主题的信息搜[......]

阅读全文

天网知名度系统可以根据用户注册的实体信息，对搜集到的原始网页进行分析和整理，依用户指定的实体属性对每个网页内容进行相关度及正负面评价，把相关的网页进行汇集、排序，并把满足要求的网页以指定的方式加工、存储，向用户提供W[......]

阅读全文

个性化系统领域的许多问题最终都可归结到机器学习、知识发现等问题上。用户建模过程通常都应用到代理和多代理技术。因此人工智能技术与Web挖掘技术的结合将会促进Web个性化系统的飞速发展。

随着下一代互联网技术的飞速发展与应用，未来的Web将是多媒体的世界。Web个性化技术和Web多媒体系统结合出现了交互式个性化多媒体Web系统。支持海量多媒体数据流的内容挖掘将成为Web挖掘技术的基本功能之一。由[......]

阅读全文

表12-1 典型Web个性化系统的比较

尽管Web挖掘技术已经在Web个性化系统中得到了广泛的应用，但是还存在着以下几个方面的问题。

这是一个不可回避的问题。因为要想建立个性化W[......]

阅读全文

1. 预处理：需要对收集的数据进行必要的预处理，如清除“脏”数据。
2. 模式发现：应用不同的Web挖掘算法发现用户访问模式。
3. 模式分析：从发现的模式集合中选择有意义的模式。

Web挖掘通常可以分成三大类，如图12-2所示。

图12-2 Web挖掘的分类

Web内容挖掘是从Web资源中发现信息或知识的过程。在创建个性化服务系统时，人们通常应用Web内容挖掘对网页内容进行分析，其中网页的自动分类技术在搜索引擎、数[......]

阅读全文

1. 收集用户的各种信息，如注册信息，访问历史等；
2. 分析用户数据，创建符合用户特性的访问模式；
3. 结合用户特性，向用户提供符合其特殊需求的个性化服[......]

阅读全文

1. 检索结果中无关的网页过多。在所有检索结果中经常是大多数结果与用户的需求无关。尽管某些网页含有检索关键词，实际上同用户的本意无关，但是也被返回给用户了。
2. 没有考虑不同用户的个性差异。

目前，所有用户如果输入相同的查询条件，搜索引擎就会返回相同的结果，尽管这些用户的需求各不相同。事实上，不同的用户由于受教育水平、工作环境等因素的不同而具有鲜明的个性，希望搜索引擎能[......]

阅读全文

假设分类系统预先定义的类别数为m。整数k大于1并且小于m。对于每一个待分类的文档D，分类系统都返回一个长为m的候选类列表，取候选类列表的前k项（按类和文档的相似度排序），这篇文档就被认为属于这k个类。这种阈值策略就被称为位[......]

阅读全文

1、kNN分类算法

kNN分类算法是一种传统的基于统计的模式识别方法。算法思想很简单：对于一篇待分类文档，系统在训练集中找到k个最相近的邻居，使用这k个邻居的类别为该文档的候选类别。该文档与k个邻居之间的相似度按类别分别求和，减去一个预先得到的截尾阈值，就得到该文档的类别测度。用kNN也表示所选k个最相近文档的集合，公[......]

阅读全文

为便于后面的描述，这里简要给出特征选取的一般过程。给[......]

阅读全文

阅读全文

1. 预处理。在预处理阶段，除了进行中文分词处理外，没有进行其它任何预处理；
2. 特征选取。在这里，直接把中文分词得到的所有关键词作为特征项，并由这些特征项构成特征向量，因此没有特征选取处理过程。
3. 分类算法。我们选用kNN（k-Nearest Neighbor）分类算法来实现基本的分类器。在实验中我们取 k = 20，即仅保留相似度最大的20个实例网页。为确定待分类网页的类别，首先需要把具有相[......]

阅读全文

阅读全文

目前，主要的文档自动分类算法可以分为三类：

词匹配法又可以分为简单词匹配法和基于同义词的词匹配法两种。简单词匹配法是最简单、最直观的文档分类[......]

阅读全文

为了能够有效地组织和分析海量的Web信息，人们希望能够按照其内容实现对网页的自动分类。目前，网页自动分类技术在数字图书馆、主题搜索、个性化信息检索、搜索引擎的目录导航服务、信息过滤、主动信息推送服务等领域得到了广泛地应用。

在信息检索领域，评价一个系统的性能，通常有效果和效率两个方面的考虑。与此对应，评价一个分类器性能[......]

阅读全文

本篇介绍我们在这方面所做的一些研究性工作，主要包括：

1. 中文网页分类技术：现已成为中文Web信息处理领域的基础性工作，例如将网页进行自动分类，可以为搜索引[......]

阅读全文

可以考虑在实验中采用一种归一化的方法，把查询结果限定在一个固定的集合内，用来减小不同评估对象的搜集系统差异对检[......]

阅读全文

对用户查询有不同的分类方法。文献[eTesting,2000]从查询语法特征上划分为5类：

1. 自然语言查询；
2. 单个查询词的简单查询；
3. 多个查询词的简单查询；
4. 包含操作符的复杂查询和主页查询。

文献[Travis and Broder,2001]把用户信息需求分为三类：信息型，导航型和事务型。

信息型[......]

阅读全文

这一方向的工作与研究主要由信息检索领域的研究人员推动。

信息检索可以看作这样的过程和方法，通过它，一个需要信息的用户可以把他的信息需求转换成为对数据集中若干文档的引用，从而找到有用的信息。评估从这个研究方向创立开始就一直为人们关注。

根据评估对象的不同，可以分为6个级别：

1. 工程级关注系统的效率；
2. 输入级关注输入数据的覆盖率；
3. 处[......]

阅读全文

按照第一节的论述，每一个查询q可以被分解为m个特征项｛t1, t2, … tm｝的逻辑运算。因此，对于每一个结果网页p，都可以获得每一个特征项在该网页中的权值WB(ti, p)。我们按照如下方法定义权值的逻辑运算：

任何一个用户的检索都可以表示为特征项的与（∩）和或（∪）的运算表达式，[......]

阅读全文

具体实现起来[......]

阅读全文

图10-4 网页的互联结构示意

在这部分，我们主要考虑WWW中超链的互链关系对一个网页权值的影响。Web有两个基本的构成因素：网页和超链。如果我们将网页[......]

阅读全文

考虑被HTML标签包围的一段文本内容，到底这些标签应该如何影响这段内容呢？天网将所有的标签分为两类：一类是影响文本权值的标签，如&lt[......]

阅读全文

阅读全文

和传统IR的用户群相比，虽然搜索引擎的用户群的经验少，但他们的数量却十分巨大。大型商业搜索引擎，如Google，AltaVista，百度等，每天都有上1000万次的用户检索。通过[......]

阅读全文

1. 我们知道，HTML设计有丰富的标签，是网页作者用于将网页的不同部分以不同的形式呈现给用户的手段，包括文字的布局，字体、字号的变化，等等，主要追求的是视觉效果。因此，标签能给我们提示其中文字的重要程度。例如，常识告诉我们，在同一篇文字中，比较大的字体往往是作者比较强调的内容；而在一版（以区别“一篇”，如同报纸）内容分块、且有一定布局的文字上，放在前面和中间的应该是作者比较强调的，等等。许多著名搜索引擎在[......]

阅读全文

这样，文档d和查询q就都被简化成词汇的集合（多重集）。不失一般性，令

Σ={t1,t2,……tN}

为一个词典，ti为词[......]

阅读全文

一方面，搜索引擎维护的内容十分繁杂且不规范，不像传统的图书、文献等有很好的分类体系管理。

另一方面，搜索引擎面对的用户背景广阔，层次多样，不像传统的图书馆所面对的用户通常有相对比较整齐的用户群。

因此，搜索引擎要给出的不是一个狭义的相关序，而是某种反映多种因素的综合统计优先序。检索质量评估的目标是对不[......]

阅读全文

阅读全文

这里对网页重要度的度量规则定义为：用户访问越多的网页越重要。需要指出的是，用户点击URL的行为是受天网系统的输出页面中结果排序的影响的，如[......]

阅读全文

对于FIFO和LRU这两种替换策[......]

阅读全文

假设在缓存中命中一个用户查询需要的延迟是Tm，在磁盘文件中查找一个用户查询需要的时间是Td，缓存命中率是p，这样在引入缓存后，用户查询的平均响应时间变为原来（即未使用缓存）的η倍：

在天网系统中，一次访问硬盘的时间大约是一次访问内存的时间的几十倍，这[......]

阅读全文

自相似性直观上说就是一组序列在很长的时间范围内表现出结构上的相似性。自相似模型的主要特点是长期依赖性，而不象泊松分布那样只能体现出来短期的依赖性。下面我们首先引入自相似性随机过程的定义。

定义9-1设X是一个广义平稳随机过程，其均值为μ，方差为δ2，自相关函数为ρ(τ)，如果ρ(τ)具有以下形式：

其中L(τ)一个[......]

阅读全文

图9-7 考虑查询项与否的URL分布情况

这样我们就得到了两种统计方法的结果，并且我们对这两种方法进行了比较。进行比较的方法是：在针对查询项的统计结果中，每个查询词Qi下每个被点击的URL页面Uj都有一个点击次数Wij，在不考虑查询的U[......]

阅读全文

阅读全文

阅读全文

A和B中的这些不同的查询项构成一个向量[......]

阅读全文

图9-3 雷同查询词的衰减

当取不同的i值时就可以得到不同的Yi值，其结果反映在图9-3中，其中横坐标表示组号，即第几组1000项，纵坐[......]

阅读全文

阅读全文

前者指的是机器人从网上抓取的网页经过分析器分析处理后得到的信息，主要包括网页所包含的关键词、摘要信息、元信息（如网页作者、长度、修改时间等）以及URL超链信息，这类信息通常是作为输出信息给用户看的。而后一类信息主要包括用户输入的查询项，查询时间，用户的IP地址，用户在输出页面中所点击感兴趣页面的URL。这两类信息的数据量都很大，在天网系统中它们都已超过[......]

阅读全文

因此，本章除通过数据具体展示上述规律外，作为应用，还比较了查询缓存设计中FIFO，LRU及带衰减的LFU等3种缓存替换策略。最后，本章还讨论了基于用户行为考察海量网页信息的分布特征，并[......]

阅读全文

第二节着重从 I/O 数据量的角度分析了影响倒排文件查询效率的各种因素，以及提高系统效率的一些技术[......]

阅读全文

具体的方法可以通过缓存变长的IO序列对象，选择性能更好的GD-SIZE1替换算法，从优化磁盘系统I/O次数的角度来提高系统性能；也可以通过选取大的页面作为访问倒排文件的单位，从优化磁盘系统带宽利用率的角度提高系统性能。

最后按页[......]

阅读全文

I/O序列中的对象大小不同，其中由位置数据访问产生的部分是固定长度(32KB)，而对文档数据访问产生的对象大小分布很不均匀，以4KB为单位对其分布统计如图8-8所示。其中值为7.59KB，79%的请求对象长度在64KB以下，同时也有少数较大的数据访问。有效的缓存替换算法需要考虑对象的大小。对大量的小数据对象优先缓存，可以提高缓存的命中率，而对大对象优先缓存可以提高缓存的字节命中率。因为I/O序列反映[......]

阅读全文

图8-7 搜索引擎检索系统缓存结构

倒排文件缓存位于索引服务节点上，对查询执行器在执行用户查询过程中访问的倒排文件数据进行缓存。大量统计研究表明用户查询词序列具有良好的局部性，可以预期查询执行器发出的读取这些查询词倒排数据序列也具有同样的性质，这是人们研究倒排文件缓存的基本出发点。

在搜索引擎应用环境下，用户[......]

阅读全文

缓存技术的有效性建立在被缓存对象访问序列存在的局部性特征上。与操作系统内存管理、数据库系统和Web代理缓存这些领域大量的研究相比，搜索引擎检索系统上的缓存研究相对较少。它们之间有共性，但由于被缓存对象特征和对象访问模式的差异，又各自具有自己的特点。搜索引擎检索系统中通常被研究的缓存对象可分为三种，即查询结果、布尔操作的中间结果、以及倒[......]

阅读全文

目前，从语料库中自动识别或者学习词典未登录新词，特别是面向领域的专业词汇以及人名、地名、机构名等专有名词等方面，已经有了大量的研究工作和实用的技术。对文本数据常规的未登录词识别算法一般包括如下步骤：

1. 提取n元组：使用基本词典，将文本进行部分分词，从部分分词结果中提取n元组，即包含n个相邻基本词条的字串。一般n元组[......]

阅读全文

在理想情况下，索引词应该是表达文档内容的语义单位，对应着语言学里的词汇词的概念，它是专门表示含义，而其实际意义无法由组合成分相加得到的最小语言单位。但对于自动文档索引过程，识别文档中的词汇词，例如短语十分困难，因此通常选取语法意义上的最小语言单位为索引词。对英文文档，这一过程相对容易。对中文网页文档的索引过程，词间没[......]

阅读全文

通过丰富倒排文件的数据结构内容，这样的关系有可能在预处理阶段充分地表达出来，从而为检索服务算法的运行提供数据基础。文献[Anh and Moffat,2002]中介绍倒排索引的几种常见级别和索引的压缩技术，其中词级（Word-Level）的倒排索引记录索引词在文档中出现的每个位置信息，检索时通过这些位置[......]

阅读全文

表8-2 一些典型磁盘的性能数据

SCSI是服务器常用的I/O总线，除了有较高的速度外，在I/O高负载下消耗CPU时间少也是一个重要优点（SCSI消耗CPU时间5%，IDE可以达到60-[......]

阅读全文

B是支持倒排文件运行的下层系统的瓶颈带宽。取决于不同的情况，可能是磁盘的I/O带宽，也可能是网络带宽，我们不做区别。这里讨论的模型的思路是根据同时到达的查询量k，得到一个数据量D，然后看能[......]

阅读全文

所谓倒排文件（inverted file），是描述一个词项2集合（TERMS）元素和一个文档集合（DOCS）元素对应关系的数据结构，记：

当我们以“文档”为出发点时，我们可以讲di中包含哪些tj，或者某一个tj在di文档中出现了多少次。而“倒排文件”直接给出的是一个tj出现在哪些di中，进而还可以有它在某一个di中出现在哪些位置（含多少次）。用PL（tj）表示tj出现于其中的文档记录的集合，称为对应于t[......]

阅读全文

评价一个大规模信息检索系统，有两个方面基本的考虑：效果（effectiveness）和效率（efficiency）[Frieder, et al.,1999]。“效果”常常也称为“质量”，指检索返回结果集合的准确性（[......]

阅读全文

RetrievalAgent负责结果数据的收集、合并、重新排序，并访问文档服务器、提取摘要，格式化生成查询结果页面返回给查询用户。

文献[Wang, et al.,2001[......]

阅读全文

索引词的选择是检索系统实现的一个重要环节。现代搜索引擎普遍使用全文索引技术，即网页文档中所有词都参与索引。理想的索引词应该是表达文档内容的语义单位，即语言学里的词语，是那些专指义，而实际意义无法由组合成分相加得到的最小语言单位。但实际系统中中文文本必须通过自动分词程序的处理，分割成为独立的分词单位，再从分词结果中选择索引词。自动分词[......]

阅读全文

按一般的习惯，搜索引擎对用户查询的响应时间应该不超过秒级，这相对于搜索引擎需要处理的海量网页数据而言是一个挑战。而如何提高搜索引擎检索效果，更是人们不断研究的课题，但它是要在保证检索效率的前提下才有意义。因此，信息检索领[......]

阅读全文

在第二章我们介绍过，搜索引擎包括搜集子系统，预处理和服务子系统三大部分。有时候为方便起见，将建立索引和提供服务放在一起，称为检索子系统。搜集系统研究如何更快速抓取更多高质量网页的相关技术，检索系统研究如何进行网页文档索引[......]

阅读全文

阅读全文

天网系统在搜集并分析一篇网页时，提取并记录了网页中出现的关键词，同时根据公式赋予每个关键词一个权值，这些关键词的权值构成一个向量空间，可以用来表示该网页。另外，我们还从网页中提取了512个字节的有效文字（指用户实际访问该网页时能看到的文字，在html和其[......]

阅读全文

国际上对转载文档消重算法的研究最初主要是针对大型文件系统的，后来又被拓展应用于数字化图书馆项目和搜索引擎系统。美国Arizona大学的研究人员采用计算文档的重叠程度的方法来发现一个大型文件系统中的相似文件。Stanford大学的研究人员开发了SCAM (Stanford Copy[......]

阅读全文

阅读全文

在视觉上，大多数网页是容易区分类型的，因为三种类型的网页有着较为明显的视觉特征。在有主题网页中通过成段的文字描述了一件或多件事物，虽然也会有图片和超链，但这[......]

阅读全文

抽象表示是以网页制作规范（如HTML规范）为依据和出发点，构造出能体现网页内容结构和内容重要性等信息的表示模型，其目的是充分利用网页制作规范，挖掘出网页中隐含的信息，为后续量化表示提供更多可利用信息。对于HTML网页，最常用的方法是构造网页的标签树。

量化表示则是从计算机处理的角度出发，利用信息检索领域的技术和从网页中挖掘的隐含信息，生成计算机可以直接用于计算的表示模型，如向量空间模型等。下面对这两[......]

阅读全文

网页标识是对Web上网页的唯一性标识，在DocView模型中使用网页的URL作为网页标识。

网页类型是根据网页内容的表现形式进行划分的，在本节中将网页分为三类：有主题网页（topic）、Hub网页（hub）、图片网页（pic）。其中，有主题网页是指网页中通过文字描述了一件或多件事物[......]

阅读全文

阅读全文

本章第一节论述了一种HTML网页净化与元数据提取的方法，通过它我们可以从一个网页源文件[......]

阅读全文

提出并设计了可扩展Web信息搜集系统结构，使之达到能够搜集数量不断增长的网页的要求。

在详细介绍可扩展Web搜集系统的主要设计思想时，还对比介绍了集中式搜集系统的设计与实现。它的实际应用就是天网系统。

目前此可扩展搜集系统结构已经实际应用于天网2.0系统，自2001年6月以来，共进行了多次大规模的Web信息搜集工作，采用多台搜索机器分布式并行工作。其中2001年11月6日[......]

阅读全文

采用散列函数动态调度url。

第二个方案是结合第一种方法，同时每个节点记录着一张WWW主机表，这张表在各个节点是相同的，其中每一条记录包含一个WWW主机及其所对应的一个节点。

采用逻辑上二级映射的方法。首先用散列函数映射URL到一张逻辑表上，然后将这张表上的相应部分映射到各个节点。 对以上三种方法通过对节点数增减1的情况分析[......]

阅读全文

阅读全文

例如，P=108，B=100，T33.3小时。当然，这是最理想的情况了。通常，如果B表示网络连接的额定带宽，≥表示实际达到的有效带宽，B>> 。虽然有效带宽是随时间变化的，但在固定的环[......]

阅读全文

URLs= {URL1, URL2, …}，所要完成收集的网页地址集合。这是一个开放和动态变化的集合。所谓“开放”，指其中元素的个数是事先未知的，具体有哪些元素当然也事先未知。在本文讨论的意义下，URLs的大小至少在千万量级。所谓“动态变化”，指它在收集过程中随着新发现的地址增加。通常，一次搜集过程由某些“种子”网页开始，沿着它们包含的超链，按照某种搜索策略（先宽，先深，等等）往下进行，直到没有新的地址发现，或者人为决定不要再进行了（例如磁盘已满）。[......]

阅读全文

采用并行处理技术成为一个自然的选择。高性能并行计算机系统的种类有很多：SMP, NUMA, MPP, 机群。比较起来，后者对我们的应用是最适合的。这不仅是由于其价格较低，还由于我们网页收集应用的基本特征：操作单纯，进程之间的通信量不大，对磁盘容量和聚集I/O吞吐[......]

阅读全文

1. 与网页抓取与分析进程的交互：发送配置信息，发送URL，接收分析结果。
2. 与原始数据库的数据交互。
3. 访问控制：智能导向，robots协议，主机访问频度，IP地址等的控制。
4. 与外部系统的接口。

1. 主控与网页抓取与分析进程的分布。在系统设计中，必须采用分布式技术将任务分布到多台机器上并行的处理。海量网页独立的分布在网络上，对并行访问提供了充分的可能性和合理性。同时，分布并行还会节省网络带宽资源。
2. 可定制性[......]

阅读全文

系统分布的核心是数据的分布。对搜集部分而言，实际是将URL分布在执行搜集任务的机器之间，保证它们搜集的URL不会重复。对查询部分，则是将索引数据分布在执行检索任务的机器之间。天网2.0系统概貌如图6-1所示。为了突出搜集和查询部分的并行化问题，其中略去了搜索引擎三段工作流程中的预处理部分[......]

阅读全文

中篇将围绕这些因素展开，具体来说，将讨论五方面的内容：

1．一个并行搜集子系统的详细设计方案。尽管一个搜集子系统的硬件并行度不需要很高，但不做并行是达不到性能要求的。而能否在较短的时间内搜集到足够多[......]

阅读全文

搜索引擎原理上篇第三、第四和第五章这三个连续篇章，以设计并实现一个小的搜索引擎 TSE 为目标，讲述了目前流行的搜索引擎的基本特征，使读者可以快速对搜索引擎技术的整体有一个具体的认识，为进一步理解本书的中篇和下篇内容打下基础。对搜索引[......]

阅读全文

1. 获取用户的查询请求，提交给查询代理；
2. 查询代理检索索引词表和倒排表，产生结果按照一定的输出格式显示给 用户;
3. 记录日志，包括用户查询短语和查询时间等信息。

对于功能 1，通过 HTML 语言的<FORM>来实现。用户在相应的检索表格中输入需要查询的短语，然后提交即可。对于一个已经提交的检索，服务器方启动一个 CGI 程序进行响应。[......]

阅读全文

阅读全文

设为系统的特征项词典；集合为系统当前保存的网页集合；系统的索引可表示为集合：，其中 r(t, p) 是相关度函数，表示词汇t 和网页 p 的相关度，如果 t 是网页 p 的一个特征项，那么它就使用相关度算法给出相应的正值，如果不是，相关度为  0；搜索引擎系统 S 为一个三元组，则有公式（5-1）：

其中，WP 代表检索词汇t 的相关网页集合， 函数是系统 S 的元检索函数。

显然，用户不可能总是进行词汇级的检索。大部分的用户输入的检索是词组或自然[......]

阅读全文

图5-1 信息查询的系统结构

经过TSE的Web信息预处理，传递到服务阶段的数据包括索引网页库和倒排文件，倒排文件中包括倒排表和索引词表。查询代理接受用户输入的查询短语，切分后，从索引词表和倒排文件中检索获得包含查询短语的文档并返回给用户。

因为内存与外存（磁盘）的响应时间差距很大，在实际使用的搜索引擎中，为了提高响应时间，索引词表是驻留在内存[......]

阅读全文

“搜索信息的预处理”作为搜索引擎运行三个阶段（网页搜集、预处理和查询服务）的中间环节，具有举足轻重的地位。对于本章内容的理解，可以加深对于整个搜索引擎流程的理解，同时考虑到网页搜集和查询服务模块，也会更清楚为什么这个环节需要考虑中文切词、分析网页和建立倒排索引等问题。