搜索引擎的工作原理

在Internet上，特别是其上的Web（World Wide Web万维网）上，你天天在上网但你了解搜索引擎吗？它们是怎么工作的？你都使用哪些搜索引擎？下面就来说说搜索引擎的工作方法吧.

一、搜索引擎的分类

获得网站网页资料，能够建立数据库并提供查询的系统，我们都可以把它叫做搜索引擎。按照工作原理的不同，可以把它们分为两个基本类别：全文搜索引擎（FullText Search Engine）和分类目录Directory）。
目前，搜索引擎与目录索引有相互融合渗透的趋势。原来一些纯粹的全文搜索引擎现在也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而象 Yahoo! 这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围（注）。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如国内搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。

要进行搜索引擎优化，首先要知道搜索引擎是如何工作的，只有知道搜索引擎是如何工作的以后，才能更好的 进行优化工作，做出对于搜索引擎更加友好的网站，这样才会有好的排名。
　　搜索引擎最主要的由三部分组成：蜘蛛程序、索引和软件。下面我们拿Google举例。 
蜘蛛程序
　　Google的蜘蛛程序分为主蜘蛛和从蜘蛛，当Google全面更新数据库或收录新网站时，派出主蜘蛛，对网站进行 全面的索引（如收录新页、重新确定网页级别等）；当Google对网站日常更新时，派出从蜘蛛，对网站内容进行维 护。当发现页面有变化时，其从蜘蛛对此页面进行更新，重新抓取内容。蜘蛛程序会根据一个固定的周期回访其目 录中的站点，寻找更新。至于爬行程序回访的频率，这要由搜索引擎确定。网站拥有者通过采用一个名为robot.txt的 文件确实能控制爬行程序访问这个站点的页面。搜索引擎在进一步爬行一个网站之前首先查看这个文件。 
目录索引
　　目录索引就像一个巨大的网站目录，这个目录中全是其蜘蛛程序抓取的网站的列表。据Google公布的数据，目 前，Google已经收录了80亿个网站，而更新这些索引也是相当费时间的，一般更新的周期大约一个月左右，所以， 对于一个新网站来说，蜘蛛程序可能已经爬行了你的网站，但没有列如索引中，而第一次被列入的也是基本索引， 还未别列入其主索引中，只有当Google下次更新索引时才会被列入主索引，在这期间，Google会对网站有一个相应 的评估，会临时出现一个较好的排名，但此时的排名不是真正的排名，只有等到Google下次更新时，才会转化为真 正的排名。这也就是说为什么一个新的网站被索引了而却找不到排名，或者说一个新网站刚开始排名很好，而过段 时间排名就下降或是找不到的原因。
　　至于蜘蛛是否爬行过你的页面、什么时间对你的网站进行抓取等，请看相关文章：查看服务器日志。 
程序
　　Google会对其索引中的网站按照自己独有的程序进行判断，为每个网站进行分类、评分并对网页中的内容进行 分析，找出关键词，当用户输入一个关键词搜索时，就会按照分析好的索引进行排列并加以显示。
　　对网站确定关键词、分类、及排名等全都是由程序自动完成的，不加任何人工干预，这也就是体现Google的公 平、公正，展现给用户的是最真实、最好的内容。

全文搜索引擎的数据库是依靠一个叫“网络机器人（Spider）”或叫“网络蜘蛛（crawlers）”的软件，通过网络上的各种链接自动获取大量网页信息内容，并按以定的规则分析整理形成的。Google、百度都是比较典型的全文搜索引擎系统。

分类目录则是通过人工的方式收集整理网站资料形成数据库的，比如雅虎中国以及国内的搜狐、新浪、网易分类目录。另外，在网上的一些导航站点，也可以归属为原始的分类目录，比如“网址之家”。

全文搜索引擎和分类目录在使用上各有长短。全文搜索引擎因为依靠软件进行，所以数据库的容量非常庞大，但是，它的查询结果往往不够准确；分类目录依靠人工收集和整理网站，能够提供更为准确的查询结果，但收集的内容却非常有限。为了取长补短，现在的很多搜索引擎，都同时提供这两类查询，一般对全文搜索引擎的查询称为搜索“所有网站”或“全部网站”，比如Google的全文搜索（www.baidu.com）；把对分类目录的查询称为搜索“分类目录”或搜索“分类网站”，比如新浪搜索和雅虎中国搜索（http://cn.search.yahoo.com/dirsrch/）。

在网上，对这两类搜索引擎进行整合，还产生了其它的搜索服务，在这里，我们权且也把它们称作搜索引擎，主要有这两类：

⒈元搜索引擎(META Search Engine)。这类搜索引擎一般都没有自己网络机器人及数据库，它们的搜索结果是通过调用、控制和优化其它多个独立搜索引擎的搜索结果并以统一的格式在同一界面集中显示。元搜索引擎虽没有“网络机器人”或“网络蜘蛛”，也无独立的索引数据库，但在检索请求提交、检索接口代理和检索结果显示等方面，均有自己研发的特色元搜索技术。比如“metaFisher元搜索引擎”
（http://www.hsfz.net/fish/），它就调用和整合了Google、Yahoo、AlltheWeb、百度和OpenFind等多家搜索引擎的数据。

⒉集成搜索引擎（All－in－One Search Page）。集成搜索引擎是通过网络技术，在一个网页上链接很多个独立搜索引擎，查询时，点选或指定搜索引擎，一次输入，多个搜索引擎同时查询，搜索结果由各搜索引擎分别以不同页面显示，比如“网际瑞士军刀”（http://free.okey.net/%7Efree/search1.htm）。

全文搜索引擎
　　在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。

　　另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。

　　当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置/频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。

........................................................................................

3 目录索引
　　与全文搜索引擎相比，目录索引有许多不同之处。

　　首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。

　　其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功。而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其象Yahoo!这样的超级索引，登录更是困难。（由于登录Yahoo!的难度最大，而它又是商家网络营销必争之地，所以我们会在后面用专门的篇幅介绍登录Yahoo雅虎的技巧）

　　此外，在登录搜索引擎时，我们一般不用考虑网站的分类问题，而登录目录索引时则必须将网站放在一个最合适的目录（Directory）。

　　最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自主权；而目录索引则要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。

　　目录索引，顾名思义就是将网站分门别类地存放在相应的目录中，因此用户在查询信息时，可选择关键词搜索，也可按分类目录逐层查找。如以关键词搜索，返回的结果跟搜索引擎一样，也是根据信息关联程度排列网站，只不过其中人为因素要多一些。如果按分层目录查找，某一目录中网站的排名则是由标题字母的先后顺序决定（也有例外）。