百度分词技术_百度输入法分词位置_数据处理分词例句(2)

如果有的话，会丢弃掉，默认为一个词汇。接下来检查用户提交的字符串，有没有字母和数字。如果有的话，就把字母和数字认为一个词。好了，这就是SE的查询处理。

讲了查询处理后，大家对分词技术，尤其是中文分词技术有了一个基本的了解。

其实我讲的都是搜索引擎的原理。好了，我接下来讲分词的原理。我们用百度来举例

百度是如何来分词的呢?分词技术现今非常成熟了。他分为3种技术。

1.字符串匹配的分词方法

2.词义分词法。

3.统计分此法。

先说第一种。

也是常用的分词法，百度就是用此种分词。字符串匹配的分词方法，他又分为3中分词方法。

1.正向最大匹配法

什么意思呢?就是把一个词从左至右来分词。

举个例子。

“不知道你在说什么”

这句话采用正向最大匹配法是如何分的呢?“不知道，你，在，说什么”与正向最大匹配法相对应的是反向最大匹配发。这是第二种分词方法。

2.反向最大匹配法 来分上面我举的例子是如何分的呢 "不知道你在说什么"。反向最大匹配法来分上面这段是如何分的。“不，知道，你在，说，什么”，这个就分的比较多了，反向最大匹配法就是从右至左。

3.就是最短路径分词法。

这个什么理解呢 ，就是说 我一段话里面要求切出的词数是最少的。还是上面哪句话

“不知道你在说什么”最短路径分词法就是指，我把上面哪句话分成的词要是最少的。不知道，你在，说什么，这就是最短路径分词法，分出来就只有3 个词了 。好了，当然还有上面三种可以相互结合组成一些分词方法。比如正向最大匹配法和反向最大匹配法组合起来就可以叫做双向最大匹配法。好了，第一种说完了，

2.词义分词法。

这种其实就是一种机器语音判断的分词

方法。很简单，进行句法、语义分析，利用句法信息和语义信息来处理歧义现象来分词，这种分词方法，现在还不成熟。处在测试阶段。

第三种，统计的分词方法。

这个很简单，就是根据词组的统计，就会发现两个相邻的字出现的频率最多，那么这个词就很重要。就可以作为用户提供字符串中的分隔符。这样来分 词。比如，“我的,你的，许多的，这里，这一，那里”。等等，这些词出现的比较多，就从这些词里面分开来。好了，分词技术讲完了。

那么我们刚刚学了分词技术，又如何来运用他们为我们的站点获得流量呢

1.我们可以利用分词技术来增加我们站点长尾词。这样就可以获取流量排名。

不但这些分出来的长尾词能够获取一定的排名，也能够推动站点的目标关键词获取很好的排名。这个原理就是内链原理，这里不再讲了。讲了这么多，我们举个例子。

例如：三亚酒店预定，如何来分呢?

正向最大匹配，反向最大匹配，双向最大匹配，最短链接匹配。

1.正向最大匹配

“三亚，酒店预定”

2.反向最大匹配

“三亚酒店，预定”

3.双向最大匹配

“三亚，酒店，预定”

4.最短路径最大匹配。

“三亚酒店预定”好了，我们分了词为

“三亚，“酒店预定，预定，三亚酒店，三亚，酒店 ，三亚酒店预定。”

这些词每个都可以做一个主题页为目标关键词

这些分出来的词，把他们都作为你站点的主题页，导入链接权重上来了，竞争力就大了，因为这些页面把他内链起来。用锚链接，指向主页的目标关键 词。呵呵，这就是分词的好处。他能够提升目标关键词的排名的竞争力也同时给站点带来一定流量。一旦导入链接权重上来了，竞争力就大了，因为这些页面把他内 链起来。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-37623-2.html