Devin's blog
zhuhichn · 共 2 篇文章
基于Trie树构造中文分词字典(1)
首先,要去定义一个单词树结构,先考虑我们需要的信息,每个节点应该包含的属性,节点常用属性定义如下 public class WordTree implements Comparable<WordTree>{ public WordTree leaf; //数组用来存储该节点所包含的所有子节点 public WordTree[] leafs; //当前节点存储了什么单词字符 public char c; //status 设三种状态,1: 不是单词,继续查找, 2:是单词,但是还可能匹配到更长的单词 3:是单词,当前已经是匹配到的最长单词 public int status; //改字段主要存…
2014-02-24 21:39 · 构造中文分词数据字典 · 评论(0)
Trie树结构
又称单词查找树,Trie树,是一种树形结构,是一种哈希树的变种。典型应用是用于统计,排序和保存大量的字符串(但不仅限于字符串),所以经常被搜索引擎系统用于文本词频统计。它的优点是:利用字符串的公共前缀来减少查询时间,最大限度地减少无谓的字符串比较,查询效率比哈希表高。 Trie树结构 根节点不包含字符,除根节点外每一个节点都只包含一个字符; 从根节点到某一节点,路径上经过的字符连接起来,为该节点对应的字符串; 每个节点的所有子节点包含的字符都不相同。 基于字典的中文分词可以使用Trie树来构造中文词典。每个节点存储一个汉字,并在节点处存储状态来标识词语是否结束,来划分单词。
2014-02-24 21:14 · 数据结构及算法 · 评论(0)