百度分词技术_百度输入法分词位置_数据处理分词例句(6)

分词准确性对搜索引擎来说十分重要，但如果分词速度太慢，即使准确性再高， 对于搜索引擎来说也是不可用的，因为搜索引擎需要处理数以亿计的网页，如果分词耗用的时间过长，会严重影响搜索引擎内容更新的速度。因此对于搜索引擎来 说，分词的准确性和速度，二者都需要达到很高的要求。目前研究中文分词的大多是科研院校，清华、北大、中科院、北京语言学院、东北大学、IBM研究院、微软中国研究院等都有自己的研究队伍，而真正研究中文分词的商业公司除了海量科技以外，几乎没有了。科研院校研究的技术，大部分不能很快产品化，而一个 公司的力量毕竟有限，看来中文分词技术要想更好的服务于更多的产品，还有很长一段路。

21世纪互联网的快速发展让人们生活越来越便利，当日益剧增的海量信息让我们眼花缭乱时，搜索引擎的出现可以让我们快速找到自己想要的答案。因此多了解搜索引擎的分词算法，可以让网站在搜索引擎上获得更好的展现机会。在讲解中文分词技术之前，先来了解下全文检索技术。

全文检索技术

全文检索是指索引程序扫描文章中的每个词并建立对应索引，记录该词出现的位置和次数。当通过搜索引擎查询时，检索程序就在记录的索引进行查找并返回给用户。全文检索又分为基于字的全文索引和基于词的全文索引。基于字的全文索引会对内容中的每个字建立索引并记录，此方法查全率高，但查准率低，特别是对于中文，有时搜索马克，会列出的结果。基于词的全文索引是把一个词语作为一个单位进行索引记录，并能处理同义词。搜索引擎有自己的词库，当用户搜索 时，搜索引擎会从词库中抽取关键词作为索引项，这样可以大大提高检索的准确率。

中文分词技术

一 直以来大家都比较熟悉百度，百度有自己的中文分词技术。一般采用的包括正向最大匹配，反向最大匹配，最佳匹配法，专家系统方法等。其中最大正向匹配是最常用的分词解决方案，它采用机械式算法，通过建立词典并进行正向最大匹配对中文进行分词。举个简单的例子比如搜索“北京大学在哪里”，则返回结果很多都是包含北京大学，北大等词语的网页，搜索引擎就是采用正向最大匹配去判断，把北京大学当做一个词语来索引记录并返回。当然，正向最大匹配也有不完整性，比如长度过长的词语，搜索引擎有时无法准确的分词，或者对前后都相互关联的词无法准确分词。例如“结合成分子时”，会被返回结合、成分、子时，而有时我们想要的 关键词是“分子”。

很多时候百度都会根据自己词库中词语的权重进行拆分，权重的计算基于生活各个方面，比较复杂，搜索引擎要做的就是返回用户最想要的结果，有时站长们做网站要站在用户的角度去考虑问题，其实这也是站在搜索引擎的角度考虑问题，不论在确定目标关键词或者是长尾关键词时，都可以根据中文分词的原理来选择， 这样可以最大化的减少无用功。

分词原理不断在变化，不断在更新，我们应该继续学习，只有掌握了本质才能抓住实质。

淘宝搜索：打造黄金标题之揭秘淘宝分词算法

【淘宝搜索：打造黄金标题之揭秘淘宝分词算法】提到分词，有必要说下那个分词可以理解为多词分词，然而淘宝却不是这样去分词的。简单来说：淘宝的识别第一原则：中心词率先识别，且多半是不可分词！告诉大家一个小小的技巧，如何识别自己的宝贝标题的权重中心词

一、关于中文分词：

1.中文分词难度分析

首先要说明下的是：普通用户的搜索与做SEO或者更大说熟悉网络搜索用户的搜索习惯是非常不一样的，而恰巧普通搜索用户是百度搜索的基础力量。在开头 赘述 这一点是蒋鑫鹏为了表达其对于百度搜索算法中的中文分词的重视。因为，对于百度google这样的第二代搜索引擎来说，采用的检索技术主要是依靠关键字来 匹配的，而用户对于关键词的理解与机器程序对于关键词的理解是有很大距离的。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-37623-6.html