矩陣分解（Matrix Decomposition）

矩陣分解是矩陣理論中非常重要的內容。筆者正好利用此次機會，對矩陣分解的知識進行整理，一來利於自己總結知識脈絡，二來也可以作為以後的工具查閱，另外也方便對矩陣分解有需求的遊客學習和討論。

在進行總結之前，我們首先要非常清楚矩陣的類型，因為不同的矩陣類型存在不一樣的分解方式。本文我們約定所討論的數域為複數域，這樣實數域的情況就只是本文的特例。在量子力學體系中，所有的矩陣都是在複數域中存在的，即都存在幅度和相位。

首先最先想起的是單位矩陣，初等矩陣。初等矩陣用 $E_{ij}$ 表示，即該矩陣中的元素在處為1，其他地方都為零。這一類矩陣在高斯消元中非常重要。另外，我們還能想到實對稱矩陣，（實）反對稱矩陣，對角矩陣，三角矩陣，正交矩陣，酉矩陣，Hermite矩陣，反Hermite矩陣等。

在實數域中，我們常用的矩陣為對角矩陣，對稱矩陣，正交矩陣和三角矩陣。

在複數域中，我們常用的矩陣為酉矩陣，Hermite矩陣等。

酉矩陣的性質：

常用表示，滿足 $U^*=U^{-1}$ ，酉矩陣的是正交矩陣的在複數域的推廣。酉矩陣是滿秩的，每一列都是單位向量，其每兩列都是正交的。這類矩陣性質非常好。

（1）酉矩陣的特徵值的模都為1：存在任意特徵向量 ,特徵值，則有，對該式去共軛轉置（實數域中的轉置），有。因此有，即特徵值的模都為1成立。

（2）酉矩陣不是Hermite矩陣，因為它不滿足 .

（3）酉矩陣能夠對角化嗎？當然可以（列滿秩方陣），並且可以酉對角化！即對任意的酉矩陣B，存在酉矩陣U，使得 $B=U^*DU=U^* ext{diag}{lambda_1,lambda_2,cdots,lambda_n}U,quad |lambda_i|^2=1,i=1,cdots,n$ .

Hermite矩陣性質：

（1）Hermite矩陣滿足，，其是對稱矩陣在複數域的推廣。類似的，我們有

因此，我們得到Hermite矩陣的特徵值都是實數。這個性質也很重要。

（2）Hermite矩陣可以對角化，並且仍然是酉對角化！即存在Hermite矩陣H，存在酉矩陣U，使得

反Hermite矩陣性質：

類似的，反Hermite矩陣滿足通過同樣的變換，可以我們發現：

因此，發現反Hermite矩陣的特徵值是純虛數。

對稱矩陣性質：

對稱矩陣S滿足，。實對稱矩陣一定可以正交對角化，即存在正交矩陣Q，使得

實反對稱矩陣：實反對稱矩陣的特徵值要麼是零要麼是純虛數。

存在正交矩陣Q，使得

其中每個 $A_i=egin{pmatrix} 0&b_i \ -b_i& 0 end{pmatrix}$ 都是一個Schur型。

正交矩陣：

正交矩陣也能正交對角化。即存在正交矩陣Q，使得

,其中每個 $A_i=egin{pmatrix} cos heta &sin heta\ -sin heta&cos heta end{pmatrix}$ 是二階Givens旋轉矩陣。正交矩陣的特徵值的模都為1.

實際上，上面描述的矩陣都具有非常好的性質，不僅能對角化，有的甚至能酉對角化，這是非常特殊的。他們統稱為正規矩陣。

正規矩陣A滿足：，令，則M是一定是半正定的。顯然，

（更新後加入矩陣的譜分解部分）

矩陣的譜分解（可對角化矩陣——滿秩可逆）

譜分解定理：設 為一個n階可對角化矩陣，A的譜為 $sigma(A)={lambda_1,lambda_2,cdots,lambda_s},$ 其中的重數為 ,則存在唯一一組s個n階方陣 ,滿足
（1） $A=sum_{i=1}^{s}lambda_iP_i;$ （2）（3）（4） $sum_{i=1}^{s}P_i=I;$ （5）

這些矩陣稱為矩陣A的成分矩陣或主冪等矩陣。一般成分矩陣不一定是Hermite矩陣，因此，中的諸向量未必是正交的。

譜分解的計算例子：

求矩陣的譜分解， $A=egin{pmatrix} -1 & 3&-1\ -3&5&-1\ -3&3&1 end{pmatrix}.$

解： $|lambda I-A|=left| egin{matrix} lambda+1&-3&1\ 3&lambda-5&1\ 3&-3&lambda-1 end{matrix} ight|=(lambda-1)(lambda-2)^2.$ 所以A有特徵值（兩重）。通過齊次線性方程組，可得對應於特徵值的特徵向量分別為：

令 ,則可以求出

$P^{-1}=egin{pmatrix} 3&-3&1\ -3&4&-1\ -1&1&0 end{pmatrix}=egin{pmatrix} eta_1^T\ eta_2^T\ eta_3^T end{pmatrix}.$

這裡計算P的逆矩陣很煩人的，可以用初等行變換的方法進行求解。因此，

故A的譜分解為 . A的冪為說明譜分解本質上還是為方便求解矩陣冪服務的。前面我們知道矩陣的對角化，可以方便我們求逆。矩陣的滿秩分解可以方便我們求逆，現在我們知道矩陣的譜分解可以方便我們求冪。但是譜分解和對角化都要求矩陣是滿秩可對角化的，如果不滿足這些條件的矩陣能夠有方便的形式求解嗎？答案是肯定的，矩陣的Jordan標準型就是專門為矩陣求冪設計的。

矩陣求逆問題也是重點。但是矩陣求逆為了在數值上計算穩定，數學家們相處了很多將矩陣分的方法，後面我們將會看到矩陣的LU三角分解，QR正交分解，奇異值分解和極分解等，都是為了在數值上獲得矩陣求逆的穩定方法而設計的。

矩陣的LU分解（n階方陣，不一定存在）

LU分解實際上是高斯消元的另一種看法。即對於任意的n階方陣A，存在L是單位下三角矩陣，U是上三角矩陣，使得 . 這裡對矩陣A只要求是方陣，其他的要求都沒有。

考慮高斯消元，即存在初等矩陣 $E_{ij}$ ，對矩陣A進行初等行變換，可以將A變為上三角矩陣，該上三角矩陣就是U. 舉個例子:

對於任意的3階矩陣，我們能通過左乘初等矩陣，即 $E_{32}E_{31}E_{21}A=U.$ （不交換行）那麼我們有

$A=E_{21}^{-1} E_{31}^{-1}E_{32}^{-1}U=LU,quad L=E_{21}^{-1} E_{31}^{-1}E_{32}^{-1}.$

可以發現，L必定為單位下三角矩陣。因為我們的初等變換都只涉及對A的下三角部分進行變換，另外，每一個初等矩陣的逆都不會改變主對角元素（都是1）。

從高斯消元的角度可以看出，如果矩陣A最後一行不能被前面的r（A）行線性表示，則就找不到初等矩陣，使得A經過初等行變換後變成U，則三角分解不存在。

如果方陣A可逆，並且有三角分解，則該分解是唯一的。(因為最後一行可以被前面r(A)唯一的線性表示。)

設A為n階矩陣的前r(A)個順序主子式均非零，則A存在三角分解，但不唯一。（存在性）因為前r(A)行構成的矩陣是可逆的（線性無關），可以表示後面n-r(A)行。

Chelesky分解（實正定矩陣）

chelesky分解是針對實正定矩陣而言的。正定矩陣一般默認是對稱的。實正定矩陣A必存在三角分解A=LU，且存在唯一的對角元素均為正的下三角矩陣G，使得 .舉個簡單的例子， $A=egin{pmatrix} 2&1\ 1&2 end{pmatrix}.$ A是正定的。存在初等變換 $G_1=egin{pmatrix} 1&0\ -frac{1}{2}&1 end{pmatrix}$ ，使得

$G_1AG_1^T=egin{pmatrix} 2&0\ 0&frac{3}{2} end{pmatrix}.$ 因為A對稱，對A的初等行變換，其轉置就是對A的初等列變換。因此可以化為對角矩陣（對實對稱矩陣的對角化）。那麼令

$A=G_1^{-1}sqrt{D}sqrt{D}(G_1^T)^{-1}=GG^T=egin{pmatrix} sqrt{2}&0\ frac{sqrt{2}}{2}& sqrt{frac{3}{2}} end{pmatrix}egin{pmatrix} sqrt{2}&frac{sqrt{2}}{2}\ 0& sqrt{frac{3}{2}} end{pmatrix}.$

這是只需要進行一次初等行變換的條件下，計算方法。當需要多次進行初等行變換時，計算是類似的。此時需要將所有的初等變換看成一個初等變換，把它當成即可。

這個方法和奇異值分解，或者是Hermite矩陣可以分解為是類似的。後面會進行介紹。

***滿秩分解（LR）（m*n矩陣）（不唯一，總存在）***

首先矩陣A肯定不是滿秩的，所以才需要進行滿秩分解。因為滿秩的矩陣存在逆矩陣,計算較為方便。滿秩分解需要將矩陣A進行初等行變換，將其化簡為Hermite型。例如對矩陣A，

$A=egin{pmatrix} 1 & 1&0&1\ 0&1&1&0\ 1&2&1&1 end{pmatrix} ightarrowegin{pmatrix} 1 & 0&-1&1\ 0&1&1&0\ 0&0&0&0 end{pmatrix}=B$

很顯然矩陣的秩為2。Hermite標準型矩陣是：非零行的第一個元素必須為1。L矩陣取非零行第一個非零元素所在的列，其對應矩陣A的列。R為B的非零行。因此A的滿秩分解為

$A=LR=egin{pmatrix} 1&1\ 0&1\ 1&2 end{pmatrix}egin{pmatrix} 1&0&-1&1\ 0&1&1&0 end{pmatrix}.$

一般我們此種變形非常利於我們求解矩陣A的四個子空間。還是以矩陣A為例，

矩陣A的四個子空間

矩陣QR分解（可逆矩陣存在）（唯一）

矩陣可逆也不一定存在三角分解，這是非常令人遺憾的。矩陣正交（Q）三角（R）分解是對任何可逆矩陣都存在的理想分解。其原理是斯密特正交化。首先給出QR分解的定理：

設 $Ain mathbb{C}^{n imes n},$ 且A為滿秩的，則存在唯一的酉矩陣U和對角線元素均為正的上三角矩陣R，使得 .（當然對於實數矩陣，這裡的酉矩陣類比為正交矩陣Q即可）

一個很重要的推廣是矩陣A可以是非方陣，只需要列滿秩即可， $Ainmathbb{C}^{n imes r}$ , 則矩陣 $Uinmathbb{C}^{n imes r}$ 為r個列向量構成的標準正交基， $Rin mathbb{C}^{r imes r}$ 為對角線元素為正的上三角矩陣。分解也是唯一的。

計算過程：

以實數矩陣為例，對於列滿秩矩陣 $A=egin{pmatrix} 1&frac12&5\ 1&-frac12&2\ -1&frac12&-2\ 1&-frac{3}{2}&0 end{pmatrix}$ ，求其QR分解。

解：令 $alpha_1=(1,1,-1,1)^T,alpha_2=frac12(1,-1,1,-3),alpha_3=(5,2,-2,0)$ 由斯密特正交化方法得：

$eta_1=alpha_1=(1,1,-1,1)^T,eta_1=frac12(1,1,-1,1)\ eta_2=alpha_2-(alpha_2,eta_1 ) eta_1=(1,0,0,-1)^T,eta_2=frac{1}{sqrt{2}}(1,0,0,-1)^T\ eta_3=alpha_3-(alpha_3,eta_1)eta_1-(alpha_3,eta_2)eta_2=frac14(1,-1,1,1)^T,eta_3=frac12(1,-1,1,1)^T$

從而有：

$A=QR=egin{pmatrix} frac12&frac{1}{sqrt{2}}&frac12\ frac12&0&-frac12\ -frac12&0&frac12\ frac12&-frac{1}{sqrt{2}}&frac12 end{pmatrix}egin{pmatrix} 2&-1&frac92\ 0&sqrt2&frac{5}{sqrt2}\ 0&0&frac12 end{pmatrix}.$

值得注意的是上三角矩陣R是怎麼計算的？

對斯密特正交化的過程進行變形得：

$alpha_1=eta_1=||eta_1||eta_1\ alpha_2=||eta_2||eta_2+(alpha_2,eta_1)eta_1\ alpha_3=||eta_3||eta_3+(alpha_3,eta_2)eta_2+(alpha_3,eta_1)eta_1$

寫成矩陣形式：

$(alpha_1,alpha_2,alpha_3)=(eta_1,eta_2,eta_3)egin{pmatrix} ||eta_1||&(alpha_2,eta_1)&(alpha_3,eta_1)\ 0&||eta_2||&(alpha_3,eta_2)\ 0&0&||eta_3|| end{pmatrix}.$

所以在計算QR分解時，把步驟寫清楚，尤其是在計算時，因為每一個係數都會成為矩陣的元素。

矩陣的奇異值分解（普適性很強，要求很低）

對標正規矩陣（normal matrix），正規矩陣都可以酉對角化。這是非常好的性質。但是非正規矩陣是否具有類似的性質呢？注意到正規矩陣滿足 ,其中兩個酉矩陣互為共軛轉置，我們能不能放棄這一性質，使得非正規矩陣矩陣也有類似的分解？當然可以。

奇異值分解定理：設 $A=(a_{ij})in mathbb{C}^{m imes n}(mgeq n),$ 且則存在m階和n階酉矩陣U和V，使得，其中 $D= ext{diag}{sigma_1,cdots,sigma_r,0,cdots,0}_{m imes n}$ , 稱為奇異值。

這裡不談證明，直接給出奇異值分解的計算方法。

$A=egin{pmatrix} 1&0&1\ 0&1&-1 end{pmatrix}.$ 那麼分別求其正規矩陣形式的酉對角化，即有

利用上面兩個等式，可以分別求出矩陣。

$AA^*=egin{pmatrix} 2&-1\ -1&2 end{pmatrix}$ ,其特徵值分別為1,3，對應的標準正交特徵向量為 $eta_1=frac{1}{sqrt2}(1,1)^T,eta_2=frac{1}{sqrt2}(1,-1)^T.$ 這裡就求出了U矩陣。

接著我們有

$A^*A=egin{pmatrix} 1&0&1\ 0&1&-1\ 1&-1&2 end{pmatrix},$ 其對應的特徵值為1,3,0（注意這裡第三個特徵值必須為0）

對應的特徵向量可以計算分別為

$alpha_1=frac{1}{sqrt2}(1,1,0)^T,alpha_2=frac{1}{sqrt 6}(1,-1,2)^T,alpha_3=frac{1}{sqrt{3}}(1,-1,-1)^T.$

其中可以不用計算，因為他必須和前面兩個特徵向量正交。這樣我們就求出了V。然後根據奇異值分解定理，可以得到

$A=UDV^*=egin{pmatrix} frac{1}{sqrt2}&frac{1}{sqrt2}\ frac{1}{sqrt2}&-frac{1}{sqrt2} end{pmatrix}egin{pmatrix} 1&0&0\ 0&sqrt3&0\ end{pmatrix}egin{pmatrix} frac{1}{sqrt2}&frac{1}{sqrt2}&0\ frac{1}{sqrt6}&-frac{1}{sqrt6}&frac{2}{sqrt6}\ frac{1}{sqrt3}&-frac{1}{sqrt3}&-frac{1}{sqrt3} end{pmatrix}.$

有一種簡便演算法：即只計算低階正規矩陣的特徵值和特徵向量。這裡為為2階，計算較為簡單。在得到其特徵值和特徵向量之後，同樣的計算酉矩陣U。然後，利用

$alpha_1=frac{1}{sqrt{lambda_1}}A^*eta_1,alpha_2=frac{1}{sqrt{lambda_2}}A^*eta_2$ 計算V矩陣的兩個向量，第三個0特徵值對應的向量與前面的向量兩兩正交即可。因為U和V滿足關係式：

$Av_i=egin{cases} sigma_i u_i, &quad 1leq ileq r\ 0,&quad r+1leq ileq n end{cases}\$

該等式方便我們在求出V後，求出U向量。與

$u_i^* A=egin{cases} sigma_iv_i^*,quad &1leq ileq r\ 0,quad &r+1leq ileq m end{cases}$

該等式方便我們求出U之後，求V向量。利用上面兩個等式，可以不用全部計算兩個正規矩陣，從而帶來求解特徵值和特徵向量的煩惱。

如果A為正規矩陣，則A的奇異值分解中U和V相同，都是n階酉矩陣，此時直接退化為酉對角化，對角線元素為特徵值（實數）。因為一般來講，奇異值等於特徵值的平方根，肯定大於等於0，即其中 $Lambda= ext{diag}{lambda_1,lambda_2cdots,lambda_n}$ ，則存在對角酉矩陣W，使得