其實當初寫馬爾可夫鏈，只是想介紹下矩陣乘法的一些應用背景，想不到由一道老鼠版Maze Runner問題出發引出的三個思考催生了後續兩篇博客，以至於差不多把馬爾可夫鏈問題講了個大概了. 相信完整讀完前三篇博客的讀者，現在已經躍躍欲試，嘗試在身邊尋找可以應用馬可爾夫鏈的實際場景，準備一展身手改變世界了吧. 橘子老君本文將分享一些蒐集來的馬爾可夫鏈應用場景供讀者參考，希望能帶來一些啟發. 另外，相關在線課程也正在緊張製作當中，敬請期待！

回顧

目前，我們總計接觸了兩個馬爾可夫鏈的問題背景，一個是老鼠版Maze Runner問題，一個是Page Rank演算法. 下面我們一起回憶下馬爾可夫鏈模型的相關概念.

我們用 S_1, S_2, cdots S_m 表示 m 個研究對象可能處於的狀態，

把研究對象經過 n 次轉移後處於狀態 S_1, S_2, cdots S_m 的概率所組成的 m 維向量 mathrm{x}_n 稱為狀態向量. mathrm{x}_0 稱為初始狀態向量.

如果研究對象每一次的狀態轉移，只與轉移前所處的狀態有關，與之前的轉移無關，即我們用 p_{ij} 表示從狀態 S_j 轉移到狀態 S_i 的概率. 各個狀態之間轉移的概率所組成的方陣

稱為轉移矩陣.

於是我們會得到狀態向量滿足如下遞推關係，

不難推得， mathrm{x_{n}}=P^n mathrm{x_0} .

場景一: 天氣預報

如果我們把天氣狀況簡單分為晴、多雲、雨天三個狀態，通過對某一地區歷史氣象數據統計發現[^1]，

  • 如果當天是晴天則第二天是晴天的概率為 0.65 ，是陰天的概率為 0.1 ，是雨天的概率為 0.25 .
  • 如果當天是多雲則第二天是晴天的概率為 0.25 ，是陰天的概率為 0.25 ，是雨天的概率為 0.5 .
  • 如果當天是雨天則第二天是晴天的概率為 0.25 ，是陰天的概率為 0.15 ，是雨天的概率為 0.6 .

如果週一是晴天，那麼如何預測週五的天氣情況.

幾乎所有關於馬爾可夫鏈的教材都會有這樣的習題或者例題，但實際應用中往往比這個要複雜得多. 而且第二天的天氣真的只與當天天氣有關，與前一天無關嗎？

當然我們可以改為考慮前兩天的天氣，只要把連續兩天的天氣作為一個狀態即可，即會有 mathrm{P}_3^2 個狀態. 這樣馬兒可夫鏈模型就仍然適用了.

場景二: 病情(艾滋病)預測

艾滋病毒感染者病情發展有這樣幾個階段(狀態)：

  • 無臨牀癥狀(HIV asymptomatic)
  • 有臨牀病狀(HIV symptomatic)
  • 獲得性免疫缺陷綜合徵(AIDS)
  • 死亡(death)

某地區艾滋病感染者一年後由一個狀態轉移到另一個狀態的概率如上圖所示[^2]. 如果目前該地區感染者處於各狀態的比例如下:

  • 85% asymptomatic
  • 10% symptomatic
  • 5% AIDS
  • 0% death

那麼一年後，該地區感染者處於各狀態的比例如何？

[^2]: 圖片及數據取自Paul Harper教授發布在Youtube上的公開課.

如果僅僅計算某個感染者的概率，顯然病情發展與該患者獲得的治療有著密切關係. 但如果研究某個地區的艾滋病患者，那麼在無外界因素幹預如國家加大艾滋病治療投入或艾滋病特效藥研發成功等，馬爾可夫鏈模型是個不錯的預測模型.

場景三: 分子擴散模型

如果將兩個充滿不同氣體的容器相互聯通當中僅用薄膜分隔(允許分子在兩容器間穿梭)，那麼經過一段時間後，兩個容器中的混合氣體成分如何？

1907年物理學家 Tatiana 和 Paul Ehrenfest 為瞭解釋熱力學第二定律而提出了一個分子擴散模型. 下面老君用儘可能簡單的語言來描述下這個模型.

我們把兩個容器編號為A和B，兩個容器內分子總數設為 m ，我們把容器A內含有分子個數為 0, 1, cdots, m 看作是 m+1 個狀態，當一個分子從一個容器轉移到另一個容器，則容器A的狀態發生一次轉移. 假設每個分子等可能被選中發生轉移，即從所在的容器轉移到另一個容器.

舉個具體的例子，假設總共有 10 個分子，容器A目前有 2 個分子(處於狀態2). 那麼下一次轉移，這 10 個分子等可能地被選中發生轉移，即有 dfrac{2}{10} 的概率容器A中的分子被選中，有 dfrac{8}{10}

的概率容器B中的分子被選中. 那麼轉移發生後，有 dfrac{2}{10} 的概率容器A的一個分子跑到容器B(容器A從狀態2轉移到狀態1)，有 dfrac{8}{10} 的概率容器 B 中的一個分子跑到容器 A 中(容器A從狀態2轉移到狀態3).

如果用 P_{ij} 表示容器A從狀態 j 到狀態 i 的概率，則有

當然還有進階版 Bernoulli-Laplace 模型，考慮兩種不同的分子，每次在兩個容器中各等可能地取一個分子進行一次交換. 事實上，我在網上還發現不少用這個模型來研究洗牌的.

場景四: 體育比賽

每局網球比賽中，選手必須得分4次且比對手多兩次得分才能獲勝. 當兩名選手得分一樣且大於等於三次時，稱作「平(dauce)」. 假設選手A和選手B在某局比賽達到了「平」，此時選手A再得分一次稱作「A佔先(advantage A)」，反之選手B再得分一次稱作「B佔先(advantage B)」. 假設比賽進行到了「A佔先」，此時選手A再得分一次即獲勝，反之選手B再得分一次則返回「平」.

也就是當比賽進行到「平」後，有這樣五個狀態：

  • 平
  • A佔先
  • B佔先
  • A勝
  • B勝

假設比賽進行到平後，每個球選手A得分的概率都為 p , 則選手A在4個球內獲勝的概率多少?

這也是一道很常見的馬爾可夫鏈教材裏的習題，其他的一些運動項目如排球、乒乓也有類似的計分規則. 橘子老君比較好奇的是，在這個賽制下得分率 p 的選手獲勝的概率 p ， p 與 p 滿足怎樣的關係. 如果調整比賽賽制後，對兩者的關係會產生的怎樣的影響.

結語

橘子老君發現用一個關鍵字在搜索引擎中能找到的公開課、課件、論文數不勝數，這裡當然也無法窮盡所有的應用場景，事實上馬爾可夫鏈在目前相當熱門的機器學習領域（如自然語言處理、語音手寫識別等）有著廣泛的應用，因為往往涉及到升級版「隱馬爾可夫鏈」就沒有收錄. 但另一方面，能找到的國內中文的資料真的要少很多，也實在不能想像應用馬爾可夫鏈做天氣預報那種教科書例題式的文章竟然在16年還發表在國內學術期刊上. 我不知道是國內的學術圈、數學愛好者是都喜歡祕而不宣在小圈子裡交流呢，還是應該由度孃的演算法來背這個鍋(看看過段時間能不能在度娘裏找到我的博客檢驗一下).

導入自橘子老君的博客.

更多適閤中學生的趣味科普文章，關注微信公眾號：橘子數學


推薦閱讀：
相關文章