---------------------

這是兩個二維向量，如果是兩個n維向量的夾角餘弦相似度，只要記得，分子依然是向量內積，分母是兩個向量模長乘積。

知道了向量的夾角餘弦相似度計算方法，現在只要想辦法將文本變成向量就可以了。

（2）文本的餘弦相似度計算

文本是由片語成的，我們一般通過計算詞頻來構造文本向量——詞頻向量。

比如有一句話：

我是數說君，我愛你們，你們愛我嗎？

這段文本是由幾個片語成的：

我/ 是/ 數說君 我/ 愛/ 你們 你們/ 愛/ 我/ 嗎

其中「我」出現了3次，「是」出現一次......依次計算，我們就可以構造如下詞頻向量：

我3, 是1, 數說君1, 愛2, 你們2, 嗎1 → (3,1,1,2,2,1)

這就是一個6維向量了。

需要注意的是，如果這時候有另一段文本需要跟它比較，比如就是：

我是數說君，我愛你們，你們愛我吧？

這時候我們應該這樣分詞：

我3, 是1, 數說君1, 愛2, 你們2, 嗎0, 吧1 → (3,1,1,2,2,0,1)

這裡「嗎」這個維度也需要加上，相應的，別忘了第一句話中也要加上「吧」這個維度：

我3, 是1, 數說君1, 愛2, 你們2, 嗎1, 吧0 → (3,1,1,2,2,1,0)

這就是兩個7維向量了，現在可以將這兩個文本向量進行夾角餘弦的相似度比較，帶入上面的公式：

兩個向量內積=3*3+1+1+2*2+2*2=19

兩個向量模長乘積=sqrt(9+1+1+4+4+1)*sqrt(9+1+1+4+4+1)=20

兩個向量夾角餘弦相似度=19/20=95%

所以這兩段文本的相似度為95%。

這裡有2個問題值得提一下：

（1）當兩個詞頻向量進行比較的時候，維度會擴大。

比如剛剛例子中，彼此沒有出現的「嗎」、「吧」兩個維度會加進來，保證比較的兩段文本維度統一。那麼問題來了，如果兩段很長的文本進行比較（比如上萬字的文章），豈不是維度要擴增很多倍？而且矩陣會非常稀疏，就是很多取值都是0，計算開銷大且效率低，怎麼辦？

因此需要尋求一種有效的特徵降維方法，能夠在不損傷核心信息的情況下降低向量空間的維數，比如TF-IDF演算法。這就是後面會介紹的。

（2）英文文本的比較

與中文不同的是，英文不需要分詞，因為英文天然就是由一個一個片語組成的。

I Love Shushuojun → I/ Love/ Shushuojun

更多內容，歡迎關注我的微信公眾號「數說工作室」。

推薦閱讀：