知己知彼，搜索引擎的工作原理

woshigaozhen · 发表于 2015-9-23 19:32:18

   今天我来详细介绍一下搜索引擎的工作原理。Seo优化是在保证用户体验的基础上尽量迎合搜索引擎，作为seo工作人员咱们必须知道：搜索引擎要解决什么问题，有哪些技术上的困难，有什么限制，搜索引擎又怎样取舍。在某个角度上来讲，SEO优化就是尽量减少搜索引擎的工作量、降低搜索引擎的工作难度，使搜索引擎能更轻松、快速的抓取网站页面，更准确的提取页面内容。
要做到以上这些，咱们就要先了解搜索引擎的工作流程，大体可以分为三个阶段。

1.抓取和爬行

搜索引擎蜘蛛通过跟踪链接发现和访问页面，读取页面HTML代码，存入数据库。

2.预处理

索引程序对抓取来的页面数据进行文字提取、中文分词、索引、倒排索引等处理，以备排名程序调用。

3.排名

用户输入查询词后，排名程序调用索引库数据，计算相关性，然后按一定格式生成搜索结果页面。

   咱们先来说一说什么是蜘蛛：蜘蛛就是搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider）或者机器人（bot）。蜘蛛访问网站页面时类似于普通用户使用的浏览器，蜘蛛到访一个页面之后，网站服务器返回HTML代码，蜘蛛把采集到的代码存入数据库。为了提高效率，都使用多个蜘蛛一起爬行。为了抓取目标网站尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬行到另一个页面，就好像蜘蛛在蛛网上爬行一样，这也是搜素引擎蜘蛛这个名称的由来。理论上来讲，搜索引擎蜘蛛是可以顺着链接把整个网站全部爬行完的。但是在实际工作中，蜘蛛的带宽资源、时间都是有限的。所以，蜘蛛所要做的就是尽量抓取互联网上的重要页面。那么蜘蛛是如何判断一个页面是否重要的呢？主要有以下几个影响因素：

· 网站和页面的权重。质量高、资格老的网站会被认为权重比较高，蜘蛛在这样的网站上爬行的会比较深。

· 页面更新频率。蜘蛛每爬行都会储存页面数据，第二次爬行发现与前一次不同就说明网站有更新，多次以后就会了解一个网站的更新频率。如果经常更新的话，蜘蛛也会更加频繁的访问这个网站。所以，保持规律的更新对于一个网站是至关重要的哦。

· 导入链接。我们已经了解到了蜘蛛是通过链接来寻找页面的，不管是本网站的内部链接还是其他网站链向本网站的导入链接都会吸引蜘蛛过来哦，这就是seo优化工作中常说的外链。

· 与首页点击距离。一般网站上权重最大的是首页，蜘蛛访问最频繁的也是首页。所以，距离首页点击距离越近的被蜘蛛爬行的机会也就越大。

   当蜘蛛爬行完之后会把地址存入地址库，记录被发现、但是还没有抓取的页面，以及已经被抓取的页面，然后在统一安排抓取。
站长们可以通过XML网站地图、站长平台提交网站的全部链接，这样蜘蛛会存入到地址库中，然后按重要性从待访问地址库中一次提取url，访问并抓取页面。