文本挖掘：分词原理

以下内容来自刘建平Pinard-博客园的学习笔记，总结如下：

在做文本挖掘的时候，首先要做的预处理就是分词。

英文单词天然有空格隔开容易按照空格分词，但是也有时候需要把多个单词做为一个分词，比如一些名词如「New York」，需要做为一个词看待。

而中文由于没有空格，分词就是一个需要专门去解决的问题了。

无论是英文还是中文，分词的原理都是类似的，本文就对文本挖掘时的分词原理做一个总结。

1. 分词的基本原理

现代分词都是基于统计的分词，而统计的样本内容来自于一些标准的语料库。假如有一个句子：「小明来到荔湾区」，我们期望语料库统计后分词的结果是："小明/来到/荔湾/区"，而不是「小明/来到/荔/湾区」。那么如何做到这一点呢？

从统计的角度，我们期望"小明/来到/荔湾/区"这个分词后句子出现的概率要比「小明/来到/荔/湾区」大。如果用数学的语言来说，如果有一个句子S,它有m种分词选项如下：

其中下标 $n_{i}$ 代表第种分词的词个数。如果我们从中选择了最优的第种分词方法，那么这种分词方法对应的统计分布概率应该最大，即：

但是我们的概率分布 $P(A_{i1},A_{i2},...,A_{in_{i}})$ 并不好求出来，因为它涉及到 $n_{i}$ 个分词的联合分布。在NLP中，为了简化计算，我们通常使用马尔科夫假设，即每一个分词出现的概率仅仅和前一个分词有关，即：

使用了马尔科夫假设，则我们的联合分布就好求了，即：

而通过我们的标准语料库，我们可以近似的计算出所有的分词之间的二元条件概率，比如任意两个词 $w_{1},w_{2}$ ，它们的条件概率分布可以近似的表示为：

其中 $freq(w_{1},w_{2})$ 表示 $w_{1},w_{2}$ 在语料库中相邻一起出现的次数，而其中 $freq(w_{1}),freq(w_{2})$ 分别表示 $w_{1},w_{2}$ 在语料库中出现的统计次数。

利用语料库建立的统计概率，对于一个新的句子，我们就可以通过计算各种分词方法对应的联合分布概率，找到最大概率对应的分词方法，即为最优分词。

2. N元模型

只依赖于前一个词太武断了，我们能不能依赖于前两个词呢？即：

这样也是可以的，只不过这样联合分布的计算量就大大增加了。我们一般称只依赖于前一个词的模型为二元模型(Bi-Gram model)，而依赖于前两个词的模型为三元模型。以此类推，我们可以建立四元模型，五元模型,...一直到通用的N元模型。越往后，概率分布的计算复杂度越高。当然演算法的原理是类似的。

在实际应用中，N一般都较小，一般都小于4，主要原因是N元模型概率分布的空间复杂度为

$O(left| V ight|^{N})$ ，其中|V|为语料库大小，而N为模型的元数，当N增大时，复杂度呈指数级的增长。

N元模型的分词方法虽然很好，但是要在实际中应用也有很多问题，首先，某些生僻词，或者相邻分词联合分布在语料库中没有，概率为0。这种情况我们一般会使用拉普拉斯平滑，即给它一个较小的概率值。第二个问题是如果句子长，分词有很多情况，计算量也非常大，这时我们可以用下一节维特比演算法来优化演算法时间复杂度。