搜索引擎的工作原理,可以看做三步:
一、从互联网上抓取网页
首先就是蜘蛛程序,又被称为爬虫。蜘蛛程序会爬过网上所有的网页,分析并跟踪网站的外部链接。这也就是人们通常所说的网站正在接受蜘蛛的检查。
利用能够从互联网上自动收集网页的Spider系统程序,自动访问互联网,并沿着任何网页中的所有URL爬到其它网页,重复这过程,并把爬过的所有网页收集回来。
二、建立索引数据库
有时候更新了的网页需要过一段时间才会被蜘蛛程序发现并添加到索引中。因此有的网页可能已经被“蜘蛛程序检查过了”但是“还未被收录”。当网页还未被收录的时候,目标人群在搜索的时候是无法看到的。
由分析索引系统程序对收集回来的网页进行分析,提取相关网页信息(包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大些与其它网页的链接关系等),根据一定的相关度算法进行大量复杂计算,得到每一个网页针对页面内容中及超链中每一个关键词的相关度(或重要性),然后用这些相关信息建立网页索引数据库。
三、在索引数据库中搜索排序
当用户输入关键词搜索后,由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好,所以只需按照现成的相关度数值排序,相关度越高,排名越靠前。
最后,由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。 |