分词技术换个方法_电动车换轮胎技术_从句与分词形式转换(2)

2. 进入nextLexeme方法，首先判断是否中文字符，然后判断是否存在词段队列，举例来说“中华人民共和国”，这个词条，就会存在一个词段队列，分别存储“中华”、“中华人民”、“中华人民共和”、“中华人民共和国”，前面词段依次是后面词段的前缀。这个词段队列也是在nextLexeme方法中填充的。当一个词条和字典中的词匹配成功，并且也是字典中某个词条的前缀，则被加入队列，当一个词条不再是某个词条的前缀，移除出队列。

3. 如果词段队列里面不存在词段，把当前的Character与字典中的词匹配，创建一个新的hit，如果字典种存在这个Character，把hit添加进词段队列。如果词段队列里面已经存在词段，遍历词段队列，判断当前Character是否可以以词段队列中的词为前缀，组成一个字典中存在的词，如果可以，则加入lexemeSet中，如果不能匹配成词，则将这个前缀hit从队列种移除，因为以后也不会匹配成词了，故删除。

4. 如此循环执行nextLuxeme方法，最终将文本输入流切分成的词元lexeme完全放入context的lexemeSet中。这时，再次调用IKSegmentation类的next方法时，则会直接读取lexemeSet中已经切分好的词元。分词技术换个方法所以所有的切分工作都在第一次调用IKSegmentation的next的时候完成。

5. IK 分词算法理解

根据作者官方说法 IK 分词器采用“正向迭代最细粒度切分算法”， 分析它 的源代码， 可以看到分词工具类 IKQueryParser 起至关重要的作用， 它对搜索 关键词采用从最大词到最小词层层迭代检索方式切分，比如搜索词：“中华人 民共和国成立了”， 首先到词库中检索该搜索词中最大分割词， 即分割为： “中 华人民共和国”和“成立了”， 然后对“中华人民共和国”切分为“中华人民”和“人 民共和国”，以此类推。最后，“中华人民共和国成立了”切分为：“中华人民 | 中华 | 华人 | 人民 | 人民共和国 | 共和国 | 共和 | 成立 | 立了”，当然， 该切分方式为默认的细粒度切分，若按最大词长切分，结果为：“中华人民共 和国 | 成立 | 立了”。核心算法代码如下

boolean accept(Lexeme _lexeme){

/* * 检查新的lexeme 对当前的branch 的可接受类型 * acceptType : REFUSED 不能接受

* acceptType : ACCEPTED 接受 * acceptType : TONEXT 由相邻分支接受

*/ int acceptType = checkAccept(_lexeme); switch(acceptType){ case REFUSED: // REFUSE 情况 return false;

case ACCEPTED : if(acceptedBranchs == null){ //当前branch没有子branch，则添加到当前branch下 acceptedBranchs = new ArrayList<TokenBranch>(2); acceptedBranchs.add(new TokenBranch(_lexeme)); }else{ boolean acceptedByChild = false; //当前branch拥有子branch，则优先由子branch接纳 for(TokenBranch childBranch : acceptedBranchs){ acceptedByChild = childBranch.accept(_lexeme) || acceptedByChild; } //如果所有的子branch不能接纳，则由当前branch接纳 if(!acceptedByChild){ acceptedBranchs.add(new TokenBranch(_lexeme)); } } //设置branch的最大右边界 if(_lexeme.getEndPosition() > this.rightBorder){ this.rightBorder = _lexeme.getEndPosition(); } break;

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-36718-2.html