网络搜索引擎的原理和技术

主要的三个功能模块: 网页收集，预处理，查询服务

基本要求: 返回在可接受的时间内与用户查询相匹配的网页信息列表，并且列表中的每个条目至少包含三个元素-标题，URL链接，摘要

网页收集

两种收集网页的方式: 常规收集和增量收集

一种收集方法是将Web上的网页收集视为有向图. 收集过程从给定的起始URL集合S开始搜索引擎原理和技术，并按照深度优先，宽度优先或某些其他策略的顺序跟踪网页中的链接，不断从S中删除URL，下载相应的网页，解析出其中的超链接URL该网页以查看是否已被访问，并将那些尚未被访问的URL添加到集合S

整个过程可以从视觉上想象为蜘蛛网上的蜘蛛爬行爬行器

另一种可能的方式是，在第一个全面的网页集合之后，系统维护相应的URL集S，而后续集合直接基于该集合. 找不到网页. 如果它更改并包含新的URL，则也将检索与它们对应的网页，并将这些新的URL放入集合S中；如果与S中某个URL对应的网页不存在，则将其从S中删除

另一种方式是网站所有者主动将其URL提交给搜索引擎. 系统会在一定时间内向这些网站发送“蜘蛛”程序，扫描网站的所有页面并将相关信息存储在中

预处理

1，关键字提取

作为预处理的基本任务，是提取网页源文件内容部分中包含的关键字

对于中文，是使用基于字典E的所谓“切词软件”从网页文本中切出E中包含的词.

通过这种方式，网页主要由一组单词p = {t1，t2搜索引擎原理和技术，...，tn}表示

删除诸如“的”和“在”之类的无意义的单词，称为“停用词”停用词

网页中有效单词的数量约为200

2. 消除重复或重印的网页

网页的重复率平均约为4

3，链接分析

诸如单词频率TF和文档频率DF之类的统计数据可以在一定程度上表明单词在文档中的相对重要性

h1可能比h4内容更重要

您还可以使用链接信息提取关键字

4. 网页重要性的计算

被大量引用很重要. 通过HTML超链接在网页中引用的概念恰好非常好. 由Google创建的核心技术PageRank是该想法的成功体现.

查询服务

1，查询方法和匹配项

根据查询词进行分词q {t1，t2，... tm}，然后根据每个单词的查询结果取交集

2，对结果进行排序

单词频率越大，文档越高级

文档的频率越高，该单词对文档排序的作用就越小

另一个指标是文件PageRank的重要性

3，文档摘要

两个问题:

1）网页的编写通常不规范，文本比较随意，因此从语言理解的角度讲很难做

2）复杂的语言理解算法需要太多时间，不适合搜索引擎有效处理大量网页信息

搜索引擎生成摘要的便捷方式:

1）静态方法，独立于查询，根据一些规则，预先在预处理阶段从网页内容中提取一些文本，例如截取网页正文的前512个字节（对应到256个汉字）

2）动态摘要. 响应查询时，根据查询词在文档中的位置提取周围的文本，并在显示查询词时突出显示该查询词. 这是大多数搜索引擎当前使用的方式. 为了确保查询的效率，有必要在预处理阶段的切词过程中记住每个关键字在文档中的位置

搜索引擎体系结构:

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-251028-1.html