关于Google搜索引擎产品的工作原理的研究

1个下载-构建网络抓取工具

1.1选择图遍历算法

理论上，广度优先搜索（BFS）和深度优先搜索（DFS）算法的时间复杂度均为O（n + e）. 不同算法对整个静态网页内容进行爬网所花费的时间是相同的. 的. 但是在现实生活中，时间有限，互联网也在不断变化. 因此，您应该考虑在有限的时间内尽可能多地检索最重要的页面. 网站中最重要的页面应该是其主页以及与其相连的页面. BFS明显优于DFS. 但是实际的Web爬网程序是由许多服务器组成的分布式系统. 这些下载服务器与网络服务器建立通信需要花费额外的时间. 此时，需要使用DFS来避免握手时间过多.

1.2提取URL并创建URL表

某些页面的URL以文本形式存储在页面上，并有清晰的标记. 有时，有必要模拟浏览器的操作以提取隐藏在页面中的URL. 但是，在Internet上的这张大图上，一个页面可能是指向多个页面的点. 遍历时，为了防止重复下载网页，需要使用哈希表进行记录. 遇到网页时，将首先检查以确定该URL是否在表中. 如果存在，请直接跳过. 如果不存在，请下载页面并将该页面的URL存储在哈希表中. 但是，如果有成千上万的服务器同时下载网页，为了避免不同的服务器重复确定URL，我们必须注意存储哈希表的服务器的通信问题. 首先，调度系统必须明确每个下载服务器的工作分工，并减少重复的URL判断次数. 其次，尽可能使用批处理，向哈希表发送一批查询，并每次更新一批内容，从而减少通信量.

2索引-布尔代数

索引基于. SQL查询背后的基本原理是布尔运算，它支持多种复杂的逻辑组合. 当今的搜索引擎将用户输入的自然语言查询转换为布尔代数. 最简单的索引结构是一长串二进制数字. 数字的位数表示有多少页，并且每个数字对应于一页. 1表示此页面中的关键字，0表示否. 例如，查询“ pet bath”，对应于关键字“ pet”的二进制数为100011010000000 ...，表示第一，第五，第六，第八页均包含该关键字；关键字“ shower”对应的二进制数是011010010000000…. 要过滤出同时包含“ pet”和“ bath”的网页，您只需对这两个数字执行布尔运算AND，结果为000010010000000…. 可以看出，第五页和第八页符合要求. 综上所述，Internet搜索引擎的索引是一个大表，每行是一系列二进制数，表示包含某个关键字的页码.

3排序-衡量网页质量的方法

PageRank的核心思想: 页面访问的用户越多，质量越高. 用户通过超链接浏览页面，因此我们需要分析超链接的拓扑结构以估计该页面已被访问. 频率. 其中谷歌搜索引擎原理，指向该页面的其他页面也有各自的权重. 网页的PageRank值应从指向该网页的所有其他页面（X1，X2，...，. Xk）的权重（Y1，Y2，...，. Yk）的总和中得出，即，

矩阵A分为10列，矩阵B分为10列. 每个结果的计算量是最终结果的十分之一，从而将时间复杂度降低了10倍，而空间复杂度则降低了10倍. MapReduce将一个大型任务划分为多个子任务，将其分配到不同的计算机上进行计算，最后将中间结果组合为最终结果.

4个结论

在搜索引擎中，给定特定查询，相关页面的排名大致取决于页面本身的相关性和质量. 但是，任何搜索产品给出的结果都不完美. 最高排名不一定是高质量的，而是具有强烈的商业氛围. 对于PageRank算法，有很多网站出售链接. 该解决方案在图论中主要使用余弦定理和Clicque算法. 即使有衡量网页质量和查询相关性的好的算法，搜索反作弊仍然是一项长期的任务，为了提高搜索引擎的质量谷歌搜索引擎原理，有必要不断消除“噪音”.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-160259-1.html