其实当初写马尔可夫链，只是想介绍下矩阵乘法的一些应用背景，想不到由一道老鼠版Maze Runner问题出发引出的三个思考催生了后续两篇博客，以至于差不多把马尔可夫链问题讲了个大概了. 相信完整读完前三篇博客的读者，现在已经跃跃欲试，尝试在身边寻找可以应用马可尔夫链的实际场景，准备一展身手改变世界了吧. 橘子老君本文将分享一些搜集来的马尔可夫链应用场景供读者参考，希望能带来一些启发. 另外，相关在线课程也正在紧张制作当中，敬请期待！

回顾

目前，我们总计接触了两个马尔可夫链的问题背景，一个是老鼠版Maze Runner问题，一个是Page Rank演算法. 下面我们一起回忆下马尔可夫链模型的相关概念.

我们用 S_1, S_2, cdots S_m 表示 m 个研究对象可能处于的状态，

把研究对象经过 n 次转移后处于状态 S_1, S_2, cdots S_m 的概率所组成的 m 维向量 mathrm{x}_n 称为状态向量. mathrm{x}_0 称为初始状态向量.

如果研究对象每一次的状态转移，只与转移前所处的状态有关，与之前的转移无关，即我们用 p_{ij} 表示从状态 S_j 转移到状态 S_i 的概率. 各个状态之间转移的概率所组成的方阵

称为转移矩阵.

于是我们会得到状态向量满足如下递推关系，

不难推得， mathrm{x_{n}}=P^n mathrm{x_0} .

场景一: 天气预报

如果我们把天气状况简单分为晴、多云、雨天三个状态，通过对某一地区历史气象数据统计发现[^1]，

  • 如果当天是晴天则第二天是晴天的概率为 0.65 ，是阴天的概率为 0.1 ，是雨天的概率为 0.25 .
  • 如果当天是多云则第二天是晴天的概率为 0.25 ，是阴天的概率为 0.25 ，是雨天的概率为 0.5 .
  • 如果当天是雨天则第二天是晴天的概率为 0.25 ，是阴天的概率为 0.15 ，是雨天的概率为 0.6 .

如果周一是晴天，那么如何预测周五的天气情况.

几乎所有关于马尔可夫链的教材都会有这样的习题或者例题，但实际应用中往往比这个要复杂得多. 而且第二天的天气真的只与当天天气有关，与前一天无关吗？

当然我们可以改为考虑前两天的天气，只要把连续两天的天气作为一个状态即可，即会有 mathrm{P}_3^2 个状态. 这样马儿可夫链模型就仍然适用了.

场景二: 病情(艾滋病)预测

艾滋病毒感染者病情发展有这样几个阶段(状态)：

  • 无临床症状(HIV asymptomatic)
  • 有临床病状(HIV symptomatic)
  • 获得性免疫缺陷综合征(AIDS)
  • 死亡(death)

某地区艾滋病感染者一年后由一个状态转移到另一个状态的概率如上图所示[^2]. 如果目前该地区感染者处于各状态的比例如下:

  • 85% asymptomatic
  • 10% symptomatic
  • 5% AIDS
  • 0% death

那么一年后，该地区感染者处于各状态的比例如何？

[^2]: 图片及数据取自Paul Harper教授发布在Youtube上的公开课.

如果仅仅计算某个感染者的概率，显然病情发展与该患者获得的治疗有著密切关系. 但如果研究某个地区的艾滋病患者，那么在无外界因素干预如国家加大艾滋病治疗投入或艾滋病特效药研发成功等，马尔可夫链模型是个不错的预测模型.

场景三: 分子扩散模型

如果将两个充满不同气体的容器相互联通当中仅用薄膜分隔(允许分子在两容器间穿梭)，那么经过一段时间后，两个容器中的混合气体成分如何？

1907年物理学家 Tatiana 和 Paul Ehrenfest 为了解释热力学第二定律而提出了一个分子扩散模型. 下面老君用尽可能简单的语言来描述下这个模型.

我们把两个容器编号为A和B，两个容器内分子总数设为 m ，我们把容器A内含有分子个数为 0, 1, cdots, m 看作是 m+1 个状态，当一个分子从一个容器转移到另一个容器，则容器A的状态发生一次转移. 假设每个分子等可能被选中发生转移，即从所在的容器转移到另一个容器.

举个具体的例子，假设总共有 10 个分子，容器A目前有 2 个分子(处于状态2). 那么下一次转移，这 10 个分子等可能地被选中发生转移，即有 dfrac{2}{10} 的概率容器A中的分子被选中，有 dfrac{8}{10}

的概率容器B中的分子被选中. 那么转移发生后，有 dfrac{2}{10} 的概率容器A的一个分子跑到容器B(容器A从状态2转移到状态1)，有 dfrac{8}{10} 的概率容器 B 中的一个分子跑到容器 A 中(容器A从状态2转移到状态3).

如果用 P_{ij} 表示容器A从状态 j 到状态 i 的概率，则有

当然还有进阶版 Bernoulli-Laplace 模型，考虑两种不同的分子，每次在两个容器中各等可能地取一个分子进行一次交换. 事实上，我在网上还发现不少用这个模型来研究洗牌的.

场景四: 体育比赛

每局网球比赛中，选手必须得分4次且比对手多两次得分才能获胜. 当两名选手得分一样且大于等于三次时，称作「平(dauce)」. 假设选手A和选手B在某局比赛达到了「平」，此时选手A再得分一次称作「A占先(advantage A)」，反之选手B再得分一次称作「B占先(advantage B)」. 假设比赛进行到了「A占先」，此时选手A再得分一次即获胜，反之选手B再得分一次则返回「平」.

也就是当比赛进行到「平」后，有这样五个状态：

  • 平
  • A占先
  • B占先
  • A胜
  • B胜

假设比赛进行到平后，每个球选手A得分的概率都为 p , 则选手A在4个球内获胜的概率多少?

这也是一道很常见的马尔可夫链教材里的习题，其他的一些运动项目如排球、乒乓也有类似的计分规则. 橘子老君比较好奇的是，在这个赛制下得分率 p 的选手获胜的概率 p ， p 与 p 满足怎样的关系. 如果调整比赛赛制后，对两者的关系会产生的怎样的影响.

结语

橘子老君发现用一个关键字在搜索引擎中能找到的公开课、课件、论文数不胜数，这里当然也无法穷尽所有的应用场景，事实上马尔可夫链在目前相当热门的机器学习领域（如自然语言处理、语音手写识别等）有著广泛的应用，因为往往涉及到升级版「隐马尔可夫链」就没有收录. 但另一方面，能找到的国内中文的资料真的要少很多，也实在不能想像应用马尔可夫链做天气预报那种教科书例题式的文章竟然在16年还发表在国内学术期刊上. 我不知道是国内的学术圈、数学爱好者是都喜欢秘而不宣在小圈子里交流呢，还是应该由度娘的演算法来背这个锅(看看过段时间能不能在度娘里找到我的博客检验一下).

导入自橘子老君的博客.

更多适合中学生的趣味科普文章，关注微信公众号：橘子数学


推荐阅读：
相关文章