• 严格平稳性

如果对于任意的值j1,j2,..,jn，由一个随机过程产生的随机向量(Yt,Yt+j1,Yt+j2,...,Yt+jn)的联合分布只取决于时期的间隔(j1,j2,..,jn),而与具体的时间t无关，则称该过程是严格平稳的。

有严格平稳的定义，如果一个严格平稳过程的二阶矩存在，则意味著该过程是协方差平稳的。但反过来，一个协方差平稳过程并不一定是严格平稳的，因为该过程的高阶矩可能与时间t的函数。另外，一个随机过程{Yt}，如果其联合密度

对任意的j1,j2,...,jn是高斯的，那么是该过程为高斯过程。由于仅需均值和方差即可参数化一个多元高斯分布，所以一个协方差平稳的高斯过程是严格平稳的。

3、遍历性

对于随机过程的一个实现

我们可以计算其时间平均(与前面求总体平均区别开来)：

对于一个协方差平稳过程而言，如果当T趋于无穷时，上式定义的时间平均收敛于总体平均E(Yt)，则称该协方差平稳过程是关于均值遍历的。

后面我们会证明，如果一个协方差平稳过程的自协方差满足

则{Yt}是关于均值遍历的。这意味著当 j 增大时，|γj| 会以足够快的速度趋近于零。

类似地，对于一个协方差平稳过程，如果

对所有的 j 都成立，则称该过程是关于二阶矩遍历的。特别地，如果{Yt}是一个高斯平稳过程，则

足以保证该过程关于所有阶矩都是遍历的。

二、白杂讯

对于随机过程{εt},如果下列条件成立

则称该随机过程为白杂讯过程。其中第三个条件意味著各个跨期的ε不相关。假如我们将第三个条件换成一个更强的条件：

则称该过程为独立白杂讯过程。更进一步，再假设

则称该过程为高斯白杂讯过程。

三、移动平均过程

1、一阶移动平均过程

令{εt}为白杂讯，则过程

则为所谓的一阶移动平均过程，记作MA(1)。其中μ和θ为任意常数。我们可以考察下该过程是否为协方差平稳。

Yt的期望：

Yt的方差：

Yt的一阶自协方差：

Yt的高阶自协方差：

{Yt}的期望及自协方差均与时间t无关，所以MA(1)过程是协方差平稳的。将其所有阶自协方差求和有：

所以{Yt}是关于均值遍历的，因此，如果{εt}是高斯白杂讯过程，那么MA(1)关于所有阶矩都是遍历的。

下面我们给出协方差平稳过程的第 j 个自相关系数(表示为ρj)的定义：

所以，MA(1)过程的一阶自相关系数为

高阶自相关系数为0。

2、q阶移动平均过程

令{εt}为白杂讯过程，则下式

即为q阶移动平均过程。其中(θ1，θ2，...，θq)为任意常数。

Yt的均值：

Yt的方差：

因为跨期的εt不相关，所以

对于j = 1,2,3,...,q：

对于 j >q，ε没有同期值，所以自协方差为0，记θ0=1，则：

所以MA(q)过程为协方差平稳且关于均值遍历，如果{εt}为高斯白杂讯，则MA(q)过程关于所有阶遍历。

3、无限阶移动平均过程

当MA(q)过程的q趋于无穷时，则为无限阶移动平均过程：

对于有限阶移动平均过程的系数我们用θ表示，对于无限阶我们则用ψ表示。

无限阶移动平均过程是协方差平稳的条件为

这称为平方可加，还有一个更强的条件，即绝对可加：

绝对可加包含著平方可加，反之不一定成立。

将MA(q)过程的期望与自协方差推广，可得：

另外，如果MA(∞)的系数绝对可加，则其自协方差也绝对可加

所以，一个协方差平稳的MA(∞)是关于均值遍历的。

四、自回归过程

1、一阶自回归过程

令{εt}为白杂讯，则一阶自回归过程AR(1)为

可见其就是一个特殊的一阶差分方程，又由差分方程的分析我们知道，当 |Φ|≥1时，差分系统均不稳定，所以不可能为协方差平稳的。当|Φ|<1，则为一个协方差平稳过程，且平稳解为

这可以看作MA(∞)过程，其中

当|Φ|<1时，上式等于1/(1-|Φ|)，这就保证了MA(∞)是协方差平稳的，并且关于均值遍历。

在|Φ|<1的前提下，将AR(1)表示为MA(∞)过程，可以方便地进行计算。

进而可得自相关系数

所以自相关系数随 j 的增长以几何级数衰减，可以看到自相关系数与动态乘子或者脉冲响应函数等同。

将AR(1)转化为MA(∞)是计算各阶矩的一种方式，另外的一种方式为：在AR(1)为协方差平稳的前提下，有差分方程两边取矩求出。

根据协方差平稳的前提

可以解出

由解出的均值μ将差分方程改写为

或

等式两边平方并取期望：

其中

因为跨期的ε不相关，又有协方差平稳前提，所以

得到，

如果我们在

两边同乘

取期望得到，

很明显，右边第二项为0，剩余的为自协方差:

这是一阶差分方程的特殊形式，解为

这里说明了为什么自相关系数会和动态乘子等同，因为他们都代表初始值为1且没有后续冲击的差分方程的解。

2、二阶自回归过程

令{εt}为白杂讯，则二阶自回归过程AR(2)为

采用滞后运算元改写为

该差分方程稳定的条件为，方程

的根落在单位圆外。当该条件满足时，AR(2)就是协方差平稳的。由第二章，我们知道自回归运算元多项式

的逆为

其中的ψj由矩阵F的 j 次幂的第(1,1)个元素给出。

在滞后运算元形式AR(2)两边同乘ψ(L)得

这是一个MA(∞)过程，其中

并且由于所以特征值的莫小于1，所以

所以AR(2)平稳时，关于均值遍历。

在协方差平稳前提下，我们接著讨论使用两边取矩的方式求相关矩的内容。首先，对二阶差分方程

直接取矩得

由此得

解之即得均值。求二阶矩时，将差分方程改写为

进一步

上式两边同时乘以

取期望得

得到自协方差的二阶差分方程。在上式两边同时除以γ0，得

上式中，令 j = 1，可以解出

令j = 2，

要想求出所有的自协方差，我们需要知道γ0的值，在

两边同乘

并取期望得

由于

所以

带入ρ1的值可以解出

3、P阶自回归过程

一个P阶自回归过程即为AR(P)，形式为

如果方程

的根全部落在单位圆外，则P阶自回归过程是协方差平稳的。我们知道自回归滞后运算元多项式的逆为

从而有

这是MA(∞)过程，与前面类似的推理可以得到关于均值遍历的结论。

两边取期望的得

解出

类似，将差分方程改写为

基于同样的操作可以得到

两边同除γ0，得到所谓的尤利-沃克方程

五、混合自回归移动平均过程

一个ARMA(p,q)过程包括自回归和移动平均项：

将其用之后运算元表示为

如果方程

的根全部落在单位圆外，上式两边同时除以

可以得到

其中

所以ARMA过程的平稳的完全由AR过程的系数(Φ1,...,Φp)决定，而与MA过程的参数无关。类似前面的处理方法，ARMA过程也可以改写为均值的离差形式

在上式两边同乘

并取期望，当 j >q时，有

这里注意 j <q时，上式不成立，因为存在ε与（Yt-j-μ）相关，从而使得γj有更复杂的表达式。

ARMA过程有时存在过度参数化的问题。考虑一个简单的白杂讯过程

我们在两边同时乘以(1-ρL)，得

从而变成一个ARMA(1,1)过程，并且对于任意的ρ，上式均成立，这无疑会使得我们的参数估计变得复杂。

对于ARMA(p,q)过程，也可能产生过度参数化。将

进行因式分解

如果所有的|λi|<1，则该过程是协方差平稳。如果自回归运算元与移动平均运算元存在共同的根，具体来说，存在i , j，有λi=ηj，上式两边同时除以(1-λiL):

或

其中

因此，可以用两边消除公因式的方法消除参数过度化。

六、自协方差生成函数

前面我们已经将三种时间序列过程{Yt}的自协方差序列进行计算，接下来介绍概括自协方差序列的自协方差生成函数：

其中自变数z为复数。我们通常比较关心落在单位圆上的z值

其中，i为虚数单位，ω为z与x轴所成的弧度角。自协方差生成函数在此处取值再除以2π，就转化成了ω的函数

这称作Y的总体谱(第六章介绍)。

我们先来考察MA(1)过程的自协方差生成函数

或

上式可以推广到MA(∞)的情形。对于下式

其中

则有

由于协方差平稳的AR过程可以转化为MA(∞)过程，不再赘述。对于ARMA(p,q)过程，其也可以转化为

的形式，自协方差生成函数为

七、滤子

所谓滤子，就是对原始数据进行处理的方式。滤子会对自协方差产生一定的影响。下面假设原始数据Yt由MA(1)过程生成

但是我们并不会直接使用Yt，而言对Yt进行一定的处理，如下式

其中(1-L)就是对原始数据Yt施加的滤子。下面我们将Yt带入得

其中θ1=θ-1，θ2=-θ。利用上一节的结论可知Xt的自协方差生成函数为

如果我们保持因式分解形式

则自协方差生成函数可以写为

可以看出将滤子(1-L)作用于Yt产生的新的时间序列Xt的自协方差生成函数就是Yt的自协方差生成函数乘以

这个原理可以进行推广。假定原始数据序列{Yt}由下式生成

其中

令原始数据按下式过滤

其中

将Yt带入

这里可以证明序列

绝对可加，Xt协方差平稳，其自协方差生成函数为

七、可逆性

下面以MA(1)过程的简单地介绍以下可逆性。

给定下面的MA(1)过程，

其中

如果|θ|<1，则可将上式两边同乘

得到

这是一个AR(∞)的表达式。如果一个移动平均过程能通过移动平均运算元的逆改写为AR(∞)的形式，则成该移动平均过程是可逆的。

接下来我们讨论下可逆性在一阶矩和二阶矩中的含义。对于上面给出的MA(1)过程，其均值为μ，自协方差生成函数为

下面我们给出另一个略显不同的MA(1)过程

其中，

可看出其均值也为μ，自协方差生成函数为

假如我们让两个MA(1)过程的系数具有以下关系

在这样的关系约束下，如果|θ|<1,则意味著对于任意一个可逆的MA(1)过程，存在一个与其具有相同一阶矩与二阶矩的不可逆的MA(1)过程，将这个论述反过来也是成立的。当然，在 |θ|=1的情况下，只有一种不可逆的表示。

推荐阅读：