SEO帮助

一篇关于网络爬虫程序的一些原理及体系结构纯技术文章，一些地方可能不会看的很明白，对于SEO行业，经常和搜索引擎及其爬虫程序打交道，仔细浏览下，一些不清楚而自己又很想了解的地方，可以借助搜索来需找相关解释，对工作还是有帮助的（个人认为值得注意的地方已加红显示）。文章相对较长，可以转换成PDF格式文档阅读（太懒的童鞋可以在文章结尾自行下载）。

网络爬虫工作原理

1、聚焦爬虫工作原理及关键技术概述

网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统[......]

阅读全文

robots.txt 大致介绍：

robots.txt 是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt 文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

由于每个网站的实际配置和要求不一样，很多主机对流量的限制相对比较严格，一个网站的流量限制不止是普通用户浏览产生，搜索引擎的爬虫程序也会消耗很多流量，特别是抓取比较大的文件（比如视频或者图片）的时候，会让流量飙升，加上主机对流量的限制，进而可能会影响到普通用户浏览网页，所以我们可以通过 robots.tst 文件来限制搜索引[......]

阅读全文

SOSO发薪计划鼓励用户进行搜索，SOSO首页改版吸引更多用户搜搜，加上强大的用户基础，这让更多用户开始关注 SOSO并使用它来搜素自己关注的信息，作为搜索引擎优化爱好者，无疑对其搜索结排序更加关注，那么，对SOSO的SEO，我们应该做些什么，原因很简单，因为用户关注度高，就很有可能给我们的网站带来更多的有效流量（很多网站的SOSO关键词搜索流量来源已经开始提升）。下面是SOSO官方发布的一份通用SEO指南，适合与目前主流的谷歌与百度SEO，文章底部还有SOSO的网站地图格式与提交URL删除请求[......]

阅读全文

Http除了Get和Post方法外，还有Head方法，Head获取http头信息，其中的Content-Length就是文件的大小，而作为网页中的图片文件，百度图片搜索引擎蜘蛛程序常常以Head方法探测文件HEAD头信息（2011年10月网站日志数据，谷歌采用GET方式获取），例如：

2011-10-30 18:06:37 HEAD /wp-content/uploads/2011/07/baidu-caishenkezhan.jpg – 123.125.71.26 HTTP/1.1[......]

阅读全文

什么是“网站被黑”？

网站被黑，是指黑客利用网站的程序、设置等方面的安全漏洞或管理员安全疏忽（如密码复杂度低），未经管理员授权，对网站进行了篡改。

如何处理网站被黑？

• 分析系统日志、服务器日志，检查自己站点的页面数量、流量等是否有异常波动，是否存在异常访问或操作日志；
• 检查网站文件是否有不正常的修改，尤其是首页等重点页面；
• 网站页面是否引用了未知站点的资源（图片、JS等），是否被放置了外站的异常链接；
• 检查网站是否有不正常增加的文件或目录；
• 检查网站目录中是否有非管理员打包的网站源码、未知tx[......]

阅读全文

通过《百度SEO指南 V2.0》，互联网创业者将获得明确、正规的搜索引擎优化标准，合理、可持续提升网站流量，获得长久、稳定的发展，并促进行业的良性发展。

搜索引擎与SEO行为间是一种良性的共生关系，比如很多优质的网站是用Flash或者Ajax做的，搜索引擎就无法很好的爬取和索引。建站者在了解了SEO的一些基本原理后，可以通过对网站的合理优化，使这些优质资源更好的发挥其检索效果，改善用户的搜索体验。

同时，对于中国这样的新兴市场，传统的中小企业对于如何触网，如何做互联网营销，并无多少经验，在广大的[......]

阅读全文

谷歌网站站长工具中的“Googlebot 抓取方式”功能提供了一种向Google提交全新的URL以及更新URL的收录方法。如果我们利用此工具像Googlebot那样成功抓取了一个URL，那么，我们将会看到提交该URL到谷歌索引这一选项。当我们以这样的方式提交URL后，通常在一天之内，Googlebot就会抓取该URL。然后，谷歌会考虑是否将其列入到索引中。

谷歌网站管理员工具的这一新功能可在多种情况下为站长提供帮助：如果我们刚刚推出了一个新网站，或者增加了一些重要的新页面，您可以要求Google[......]

阅读全文