（多元高斯分布）協方差矩陣的（半）正定/可逆
先說結論：
- 協方差矩陣都是半正定（PSD）的
- 協方差矩陣正定（PD）需要條件，要求滿秩
- 多元高斯分布的協方差矩陣未必是正定（PD）的。
- 首先，證明協方差矩陣半正定（PSD）。比較常見的證明，方法很多。舉個例子
2. 然後，證明正定（PD）的條件是滿秩。
因為已經證明半正定， 即 , 要證明正定，即證明「=」不成立。可以用反證法：
(知乎輸入法不熟)
因為u是非零向量，那麼uz=0有非零解u意味著z不滿秩, 即等號成立z不滿秩。反之，如果z滿秩，則=不能成立，即半正定升級為正定。
3. 多元高斯分布的協方差矩陣
Andrew Ng 在 CS229 Leacture Notes, Part X, Factor Analysis 這一節也有討論。如果sample size n 遠小於維度p, 協方差矩陣的逆的確不存在。此時我們通過給sigma加一些約束來改造它。方法1： fit一個diagonal的sigma; 即各維度之間獨立，對角線為各維度的variance的均值.
方法2：sigma不僅是diagonal的，而且所有的對角線元素都相同，即 ; 將所有m個sample的variance取平均：
最後，引用一下@Vicktore 關於高斯分布的討論：
推薦閱讀：