Mathful Review of Linear Model
市面上講線性模型/回歸的書，大多從motivation到結構，一股濃郁的計量經濟味兒撲面而來——我、不、喜、歡。
我決定自己寫個線性模型的review，希望過年前寫得完。【果然沒寫完】
本文預備知識：（高等）數理統計、高等代數（矩陣論）
◆?◆
上課的時候，我總覺得線性模型是高等代數版的數理統計，實則理解上出現了偏差——與其說它是XX版的XXXX，毋寧說，它之於數理統計，相當於高等代數之於解析幾何。
廣泛些，將統計系的三門基礎課——線性模型、概率論、數理統計——與數學的三大分支對應，應是「線模同代數，概率如分析，數統似幾何」。
如果讓我寫本高代的書，我一定會最先從線性方程組到矩陣講起。
同理，如果寫一個線性模型的review，我必然會從回歸方程組到隨機矩陣（向量）講起——從高斯馬爾科夫定理講起，到底什麼玩意兒……
好了，我開始講（zhuangbi）了。
1、隨機向量與隨機矩陣
1.1 引言
我們考慮多元回歸方程組：
這個方程組的通俗（不嚴謹）解釋是：我們手上總共有n組樣本，每組樣本假定具有p個與響應變數相關的自變數，和一個常數項，外帶一丟丟誤差。
在高等代數中，多元線性方程組可以寫成矩陣形式，同樣的，多元回歸方程組也可以寫成矩陣形式：
其中，
有時，我們用 來表示矩陣
的第i個行向量
. 故，線性回歸方程（組）又可表為：
1.2 均值、方差、協方差和相關係數
假設我們熟知數理統計中的那一套對隨機變數的均值、方法、協方差和相關係數的定義。
1.2.1 均值向量
設 為
隨機向量，i.e.
，則
由向量的加法和期望的性質可知，對 隨機向量
有
1.2.2 方差、協方差矩陣
假設 為
的方差，
表示
的協方差。
則協方差矩陣
即：
廣義方差(Generalized Variance)：隨機向量 的廣義方差為其協方差陣的行列式。
Standard Distance：也稱為Mahalanobis Distance
當 為單位陣時，為歐幾里得距離。
1.2.3 相關係數矩陣
其中， 為
的相關係數。
令 ，有
1.3 分塊隨機向量
分塊矩陣（向量）的結論，放到隨機矩陣（向量）中，也make sense。
A simple example：
Suppose that the random vector is partitioned into two subsets of variables, which we denote by
and
:
Thus there are n+m random variables in .
由協方差性質可知，
由分塊矩陣的性質也可知：
1.4 隨機向量的線性函數
我們時常需要考慮一些隨機變數的線性組合構成的新的隨機變數，為了方便，引入其向量表示。
當我們擁有一系列（k組）關於隨機變數y的線性組合時，
其中，
就能得到一個k維隨機向量
其中，
由隨機變數的期望、方差、協方差性質，很容易推廣到隨機向量的同類性質。
最後一條性質，由分塊矩陣的性質可證。
令 ，求
即可。
1.5 二次型
這裡我們僅在特徵不為2的域上討論。
按道理我應該展開一下為什麼又只考慮特徵不為2；要是是特徵為2，會發生什麼；如果不是2，而是其他素數，又有什麼結論……諸如此類。但展開有點大了，先略一下。但我有想過，這的確是個蠻好玩的問題……有興趣的讀者歡迎在我整理出一個note之前想想。
hint：可以朝獨立性——隨機向量的加法、乘法——角度考慮一下，看看是不是還能well defined.
有別的思路也請告訴我！我給你打電話~
定義1.6.1 設 為
隨機向量，
為域
上的n階對稱方陣（
），則隨機變數、隨機變數、隨機變數
稱為隨機向量 的二次型，也稱為列向量空間
上的二次型。
（並不）容易知道，從幾何直觀意義上，一個n維隨機變數的分布的形狀取決於一個二次型——Mahalanobis Distance。對二次型的一些性質的研究，也可以移植到分布理論中的研究。
2、分布理論
有了隨機變數要去gang分布這是必然的。
2.1 獨立性
俗話說，是獨立性讓我們不同於那幫搞分析的。
所以先介紹獨立性。
2.1.1 二次型的獨立性
定理2.1.1.1 設 為
矩陣。
證明：
：
設
的所有非零特徵根所組成的對角陣為
.
由於 ，故
因此，存在正交矩陣
.
若 ，而
，則
記 ，則
所以，
因此，有
令 ，其中，
為
維隨機向量， 則
，有
.
因此，
所以，
:
若 ，則
對任意
均成立，則
2.1.2 Cochran定理
設n維隨機向量 服從正態分布
.
，
存在矩陣 ，設
. 則有：
相互獨立且
證明：
：不妨設
，否則，令
，此時，
那麼， ，
相互獨立，
.
由 分布的可加性，
，即：
:
【打TeX好累，先略。漢化版的證明是能隨手找到的。】
2.2 聯合分布、邊緣分布、條件分布
略。
注意三者定義即可。
2.3 （多元）正態分布
正態分布是高斯所有工作中應用最廣泛的，了解一下。
線性模型中，我們從gaussian assumetion談起。
最簡單的當然是：考慮線性模型
令誤差向量 ，由於正態分布的任意線性組合/線性分量的邊緣分布仍然服從正態分布，因此，觀測值向量
也服從正態分布。
下面，我們就（以矩陣/向量的寫法）證明這件事。
定理2.1.1 為
隨機向量，並服從
，
為
常數向量，
為任意
常數陣，
.
則
簡證：使用矩母函數即可。
定理2.1.2 若隨機向量，則
的分塊子向量也服從正態分布。
證明：不失一般性，令
設 ，則
.
由定理2.1.1， 則 .
2.4 抽樣分布
主要有三大種，定理太長，不轉電子版了……掃描版等我有時間再發上來。
2.4.1 分布
標準的卡方分布可以看成正態隨機變數的平方和。
2.4.2 t分布
正態隨機變數減去其樣本均值再除其樣本方差。
2.4.3 F分布
卡方之比。
3、點估計
3.1 最小二乘法
3.2 廣義最小二乘法
3.3 最小二乘的幾何性質
3.4 極大似然估計
3.5 限制極大似然估計
3.6 最小範數二次估計
4、假設檢驗
4.1 線性假設的檢驗
4.1.1 檢驗
4.1.2 t檢驗
4.1.3 F檢驗
4.2 Likelihood Ratio Test
5、區間估計
5.1 置信橢球
5.2 同時置信區間
5.3 預測
6、方差分析
6.1 One-way ANOVA
6.2 Two-way ANOVA
6.3 誤差方差齊性與正態性檢驗
7、協方差分析模型
7.1 參數估計
7.2 假設檢驗
8、Linear Mixed Model
8.1 參數估計
8.2 假設檢驗
9、數據分析
9.1 模型選擇
9.2 模型擬合
9.3 模型診斷
推薦閱讀：
