百度搜索引擎的工作原理

②，内容无效链接: 服务器返回状态为正常，但内容已更改为不存在，已删除或需要权限等与原始内容无关的信息页面.

对于死链，SEM建议网站使用协议死链，并通过百度网站管理员平台-死链工具将其提交给百度，以便百度能够更快地找到死链，并减少死链的负面影响. 用户和搜索引擎上的死链. 影响.

（7），异常跳转

将网络请求重定向到另一个位置是一个跳转. 异常跳变是指以下几种情况:

①. 当前页面无效（内容已被删除，无效链接等），直接跳转到上一个目录或主页，百度建议网站管理员删除无效页面的条目超链接.

②，跳转到错误或无效页面.

注意: 对于长时间跳转到另一个域名的情况（例如网站更改域名），百度建议使用301跳转协议进行设置.

（8），其他异常

①百度引荐异常: 网页返回的行为与百度引荐正常内容不同.

②. 百度UA异常: 返回百度UA的网页行为与页面原始内容不同.

③，JS跳转异常: 网页加载了百度无法识别的JS跳转代码，导致用户进入页面后跳转到搜索结果.

④. 压力过大导致的意外禁止: 百度会根据网站的大小，流量和其他信息自动设置合理的爬行压力，但是在异常情况下（例如压力控制失败），服务器会通过意外禁止来保护自己的负载情况下，请在返回码中返回503（表示服务不可用），因此Baidupider将在一段时间后尝试获取此链接，如果该站点是免费的，则将成功对其进行爬网.

6. 判断新链接的重要性

好的，上面我们讨论了影响Baiduspider正常爬网的原因. 现在让我们谈谈Baiduspider的一些判断原则.

在构建库之前，百度将对页面进行初步的内容分析和链接分析，通过内容分析确定网页是否需要建立索引库，通过链接分析查找更多网页，然后对更多网页进行爬网和分析. 建立图书馆和发现新链接的过程.

理论上，Baiduspider将检索在新页面上可以看到的所有链接. 那么，面对许多新的链接，根据Baidupider的判断，哪个更重要？

（1）对用户的价值

①独特的内容，百度搜索引擎喜欢独特的内容.

②. 主体突出. 似乎网页的主要内容并不突出，并且被搜索引擎误认为是空的短页面.

③内容丰富.

④，适当的广告.

（2），链接的重要性

①，目录级别的浅优先级.

②，链接在网站中的流行程度.

7. 百度优先建设重要图书馆的原则

百度蜘蛛抓取多少页不是最重要的. 重要的是索引库中内置了多少页百度搜索引擎基本工作原理，这就是我们经常说的. 众所周知，搜索引擎的索引库是分层的，高质量的网页将被分配给重要的索引库，普通的网页将留在普通的库中，甚至更差的网页将被分配给低级的网页. 级库作为补充材料. 当前，只有通过调用重要的索引库才能满足60％的检索需求，这可以解释. 这就是为什么某些站点无法收集大量流量但效果不理想的原因.

那么，哪些页面可以进入高质量索引库？实际上，从SEM的角度来看，一般原则是一个: 对用户的价值，包括但不仅限于:

（1）时间敏感且有价值的页面

在这里，及时性和价值并列，是必不可少的. 为了生成对时间敏感的内容页面，一些网站已经做了很多收集工作，从而产生了一堆毫无价值的页面，而百度是不想看到的.

（2）具有高质量内容的主题页面

主题页面的内容不一定完全是原创的，也就是说，它可以很好地整合各方的内容，或者添加一些新鲜的内容（例如意见和评论），从而为用户提供更全面，更全面的内容.

（3）高价值的原始内容页面

百度将独创性定义为经过一定成本和大量经验积累后形成的商品. 不要问我们伪原创作品是否是原始的.

（4），重要的个人页面

这里只是一个例子. 神户在新浪微博上开设了一个帐户. 即使他不经常更新它，对于百度来说，它仍然是一个非常重要的页面.

8. 哪些页面无法内置到索引库中

上述高质量网页包含在索引库中. 实际上，百度上根本没有包含互联网上的大多数网站. 并不是说百度没有找到它们，而是在构建库之前过滤掉了过滤过程. 首先会过滤掉什么样的网页？

（1）. 具有重复内容的网页: 百度将不可避免地不再包含Internet上已经存在的内容.

（2）. 具有空白主要内容的网页，包括:

①某些内容使用了百度蜘蛛无法解析的技术，例如JS，AJAX等. 尽管用户可以在访问时看到丰富的内容，但它们仍会被搜索引擎抛弃.

②. 加载速度太慢的网页也可能被视为空白短页. 请注意，广告的加载时间计入页面的总加载时间.

③，即使主题向后爬网，许多主题不显眼的网页也会被丢弃.

（3），一些作弊页面.

第二，搜索和排序

众所周知，搜索引擎的主要工作流程包括: 爬网，存储，页面分析，索引编制，检索和其他主要流程.

1. 索引系统

在一个以1亿为单位的网络图书馆中搜索某些关键字就像大海捞针. 可能可以在一定时间内完成搜索，但用户迫不及待. 从用户体验的角度来看，我们必须以毫秒为单位. 用户对结果感到满意，否则用户只会迷路，我们如何才能达到这一要求？

如果您知道用户找到了哪些关键字页面（在切词之后），那么用户搜索的过程可以想象为与包含切词后不同部分的页面集合相交的过程查询，搜索成为页面名称之间的比较和交集. 这样，可以以毫秒为单位搜索1亿个单位. 这就是所谓的倒排索引和搜索交点的过程，如下所示建立倒排索引的基本过程:

（1）页面分析的过程是识别并标记原始页面的不同部分，例如标题，关键字，内容，链接，锚点，注释，其他非重要区域等.

（2）分词的过程实际上包括分词，分词，同义词转换，同义词替换等. 以页面标题的分词为例，您将获得以下数据: 术语文本，termid，词性百度搜索引擎基本工作原理，词性等.

（3）在完成之前的准备之后，下一步是建立一个倒排索引以形成{term doc}. 下图显示了索引系统中的倒排索引过程:

倒排索引是搜索引擎实现毫秒级检索的重要组成部分. 接下来，我们将介绍建立索引的索引系统的重要过程.

2. 库中倒排索引存储的重要过程

在建立反向索引的最后，索引系统需要有一个写入库的过程，并且为了提高效率，该过程还需要将所有的项和偏移量保存在文件头中并压缩数据. 这太技术性了. 我在这里不会提及. 在这里，SEM技术还简要介绍了索引编制后的检索系统.

检索系统主要包括五个部分，如下图所示:

（1），查询字符串分割词分割是对用户的查询词进行分割，为后续查询做准备，以地铁10号线为例，可能的词分割如下（暂时跳过同义词问题） :

10 0x123abc

不. 0x13445d

第0x234d行

地铁0x145cf

故障0x354df

（2）找出包含每个术语的文档集合，即找出候选集合，如下所示:

0x123abc 1 2 3 4 7 9 ..

0x13445d 2 5 8 9 10 11

（3）交集，上面的交集，文档2和文档9可能是我们需要查找的，整个交集过程实际上与整个系统的性能有关，其中包括使用缓存和其他用于性能优化.

（4），各种过滤器，示例可能包括过滤掉无效链接，重复数据，内容，垃圾邮件结果以及您所知道的信息！

（5），最终排名，对最能满足用户需求的结果进行排名，并且可能包括有用的信息，例如: 网站总体评估，网页质量，内容质量，资源质量，匹配度，程度的分散性，时效性等等.

3. 影响搜索结果排名的因素

以上内容似乎有些深奥，因为它涉及许多技术细节，SEM在这里只能谈论它，然后SEM谈论每个人最感兴趣的排序问题，用户输入要搜索的关键字，百度搜索引擎已在排序过程中要做两件事. 首先是从索引库中提取相关网页. 二是根据不同维度的分数对提取的网页进行排序. 不同的维度包括:

（1）关联性: 网页内容与用户搜索需求之间的匹配程度，例如网页中包含的用户检查过的关键字数量以及这些关键字的位置；外部网页指向该页面使用的锚文本等.

（2）. 权威性: 用户喜欢某些权威网站提供的内容. 因此，百度搜索引擎也相信高质量权威网站所提供的内容.

（3）时效性: 时效性结果指的是新出现的网页，这些网页上有新鲜的内容. 当前的及时性结果在搜索引擎中变得越来越重要.

（4）重要性: 符合用户检查需求的网页内容的重要性或受欢迎程度.

（5），丰富性: 丰富性看似简单，但却是一个涉及面很广的命题. 可以理解，网页的内容丰富，可以充分满足用户的需求；它不仅可以满足用户的单一需求，而且可以满足用户的需求. 扩大需求.

（6）. 受欢迎程度: 指网页是否受欢迎.

以上是百度搜索引擎在确定搜索结果排名时要考虑的六个原则. 那六项原则的重点是什么？哪个原理在实际应用中占最大比例？实际上，这里没有明确的答案.

在百度搜索引擎成立之初，这些门槛确实相对固定. 例如，相关性在整体排名中的权重可占70％，但是随着Internet的不断发展和检索技术的进步，网页的数量猛增. 增长，相关性不再是问题，因此百度搜索引擎引入了机器学习机制，以使程序能够自动生成计算公式并推广更合理的排序策略.

4. 低质量的网络狙击策略石榴算法

我们了解该网站的生存和发展需要资金支持. 我们从不反对在网站上添加各种合法广告. 不要问我们是否会因在我们的网站上添加XX联盟广告而受到惩罚. 百度有些网站存在一些困难. 为了获得更好的排名，但在页面上放置了很多广告，这会损害用户体验，从而严重影响了百度搜索引擎的用户体验.

出于这个原因，百度质量团队于2017年5月17日发布了一项公告: 针对低质量网页启动了石榴算法，旨在消除包含大量不良广告的网页，这些广告会阻止用户正常浏览，特别是弹出大量劣质广告，有些垃圾广告页面会混淆页面的主要内容.

百度的质量团队希望网站站长将从用户的角度出发，并考虑长期发展. 在不影响用户体验的前提下正确放置广告. 赢得用户的长期青睐是网站发展的基础.

三，外部投票

曾经，内容为王，外部链接为王已经流行了很多年，通过超链接计算得分来反映网页的相关性和重要性，这确实是搜索使用的重要参考因素之一网页评估引擎，将直接参与搜索结果排名计算.

1. 外链的作用

随着越来越多的SEO员工了解这项技术，Hyperlink逐渐失去了其投票的重要性. 无论是Google还是百度，对Hyperlink数据的依赖性越来越低，那么在Now中，Hyperlink扮演什么角色？

（1），吸引蜘蛛爬行

尽管百度在挖掘新的和好的站点，打开多个数据提交门户并避免社交化的发现渠道方面做出了巨大的努力，但超链接仍然是发现包含链接的最重要门户.

（2）. 向搜索引擎提供相关信息

百度除了通过TITLE，页面关键字，H标签等来判断网页的内容外，还使用锚文本来辅助判断. 通过使用图片作为指向点击入口的超链接，您还可以使用alt属性和标题标签来使百度了解他的感受.

（3），提高排名

尽管百度搜索引擎减少了对超链接的依赖，但对超链接的认识从未下降，并且已经针对质量链接，普通链接，垃圾邮件链接和欺诈链接制定了更严格的标准.

对于作弊链接，除了过滤和清理链接外，还对链接的受益者链接进行一定程度的惩罚. 因此，百度仍然欢迎高质量的链接.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-244811-1.html