SDSC6012 课程 2-平稳性与自回归模型

#sdsc6012

English / 中文

时间序列的构成与分解

一个时间序列通常包含三个成分：

1. 趋势成分 (Trend)：长期变化方向

2. 季节性成分 (Seasonality)：固定周期的波动

3. 随机噪声 (Noise)：无法解释的随机波动

通过Python的Matplotlib和NumPy库可以生成并可视化这些成分的组合效果。

---

关键统计量：衡量依赖性

均值函数 (Mean Function)

$$\mu_t=E\left(x_t\right)=\int_{-\infty}^{\infty} x f_t(x) d x$$

• 表示时间序列在时刻 $t$ 的平均水平

• 对连续随机变量，通过概率密度函数 $f(x)$ 积分计算

自协方差函数 (Autocovariance Function)

$$\gamma(s, t)=\operatorname{Cov}\left(x_{s}, x_{t}\right)=E\left[\left(x_{s}-\mu_{s}\right)\left(x_{t}-\mu_{t}\right)\right]$$

• 衡量同一时间序列中两个不同时间点 $(s, t)$ 观测值之间的线性关系

• 与普通协方差的区别：自协方差衡量的是同一个变量在不同时间点的关系

计算示例：对于向量 $X: [1, 2, 3, 4, 5]$ 和 $Y: [2, 4, 6, 8, 10]$，协方差计算为：

$$\operatorname{Cov}(X, Y)=\frac{1}{N}\sum_{i=1}^{N}\left(x_{i}-\mu_{X}\right)\left(y_{i}-\mu_{Y}\right)=4$$

---

期望值计算详解

离散随机变量期望值

$$E(X)=\Sigma\left[x_{i}* P\left(x_{i}\right)\right]$$

• $x_{i}$：随机变量 $X$ 的第 $i$ 个可能取值

• $P\left(x_{i}\right)$：该取值对应的概率

骰子期望值计算：

$$E(X)=\frac{1}{6}(1+2+3+4+5+6)=3.5$$

连续随机变量期望值

$$E(X)=\int_{-\infty}^{\infty}x\cdot f(x)dx$$

• $f(x)$：概率密度函数 (PDF)

• 连续变量中单个点的概率为0，只能计算区间概率

公交车等待时间示例（均匀分布$[0,10]$分钟）：

$$E(X)=\int_{0}^{10}x\cdot\frac{1}{10}dx=5$$

---

平稳性 (Stationarity)

严格平稳 (Strict Stationarity)

• 要求时间序列的全部概率分布随时间推移保持不变

• 对于任意 $k, t_{1},\ldots, t_{k}, h$，满足：

  $$P\left\{x_{t_{1}}\leq c_{1},\ldots, x_{t_{k}}\leq c_{k}\right\}=P\left\{x_{t_{1}+h}\leq c_{1},\ldots, x_{t_{k}+h}\leq c_{k}\right\}$$

• 自协方差函数满足：$\gamma(s,t)=\gamma(s+h,t+h)$

弱平稳 (Weak Stationarity)

• 较宽松的条件，只需满足：

  1. 均值恒定：$\mu_t=\mu$（与时间 $t$ 无关）
  2. 方差恒定：$\gamma(0)$ 为常数
  3. 自协方差仅依赖时间间隔：$\gamma(t+h, t)=\gamma(h, 0)=\gamma(h)$

比喻理解：

• 严格平稳：乐团演奏的所有方面（旋律、和声、节奏、音量、音色）始终完全相同
• 弱平稳：只要求平均音量恒定、音量波动范围恒定、节奏感稳定

自协方差函数的性质

1. $\gamma(0)\geq 0$（方差非负）

2. $|\gamma(h)|\leq\gamma(0),\forall h$（自协方差不超过方差）

3. $\gamma(h)=\gamma(-h),\forall h$（对称性）

---

自相关函数 (ACF - Autocorrelation Function)

$$\rho(h)=\frac{\gamma(h)}{\gamma(0)}=\frac{\operatorname{Cov}\left(x_{t+h}, x_{t}\right)}{\operatorname{Var}\left(x_{t}\right)}=\operatorname{Corr}\left(x_{t+h}, x_{t}\right)$$

• 取值范围：$-1\leq\rho(h)\leq 1$

• 回答：“今天的数据与昨天、前天等数据的相关程度如何？”

---

平稳性示例分析

白噪声过程

• $E\left(w_{t}\right)=0$（均值恒定）

• $$\gamma(s, t)=\operatorname{cov}\left(w_s, w_t\right)=\begin{cases}\sigma_w^2& s=t\\ 0& s\neq t\end{cases}$$

• 是平稳过程

随机游走过程

• $x_{t}=\sum_{j=1}^{t} w_{j}$

• $\gamma(s, t)=\min\{s, t\}\sigma_{w}^{2}$（同时依赖于 $s$ 和 $t$）

• 不是平稳过程

一阶移动平均过程 MA(1)

• $x_{t}=w_{t}+\theta w_{t-1}$

• $E\left(x_{t}\right)=0$（均值恒定）

• $$\gamma(s, t)=\begin{cases}\left(1+\theta^2\right)\sigma^2,& s=t\\ \theta\sigma^2,&|s-t|=1\\ 0,&|s-t|\geq 2\end{cases}$$

• 是平稳过程

---

相关性的估计

样本均值

$$\bar{x}=\frac{1}{n}\sum_{t=1}^{n} x_{t}$$

• $E(\bar{x})=\mu$（无偏估计）

• $\operatorname{Var}(\bar{x})=\frac{1}{n}\sum_{h=-n}^{n}\left(1-\frac{|h|}{n}\right)\gamma(h)$

样本自协方差函数

$$\hat{\gamma}(h)=\frac{1}{n}\sum_{t=1}^{n-|h|}\left(x_{t+|h|}-\bar{x}\right)\left(x_{t}-\bar{x}\right),\quad\text{ for}-n<h<n$$

样本自相关函数 (Sample ACF)

$$\hat{\rho}(h)=\frac{\hat{\gamma}(h)}{\hat{\gamma}(0)},\quad\text{ for}-n<h<n$$

白噪声检验：如果 $\left\{w_{t}\right\}$ 是白噪声，则样本ACF值中不超过5%满足：

$$|\hat{\rho}(h)|>\frac{1.96}{\sqrt{n}}$$

---

差分运算 (Differencing)

后移算子 (Backshift Operator)

• $B x_{t}=x_{t-1}$

• $B^{k} x_{t}=x_{t-k}$

差分算子 (Difference Operator)

• 一阶差分：$\nabla x_{t}=x_{t}-x_{t-1}=(1-B) x_{t}$

• d阶差分：$\nabla^{d}=(1-B)^{d}$

差分消除趋势

• 一阶差分消除线性趋势：

  $$\begin{align*}x_t&=\beta_0+\beta_1 t+y_t\\ \nabla x_t&=\beta_1+y_t-y_{t-1}\end{align*}$$

• 二阶差分消除二次趋势：

  $$\begin{align*}x_t&=\beta_0+\beta_1 t+\beta_2 t^2+y_t\\ \nabla^2 x_t&=2\beta_2+y_t-2 y_{t-1}+y_{t-2}\end{align*}$$

---

工具库介绍

Matplotlib

• Python综合可视化库

• 创建静态、动态和交互式可视化

• 支持高质量出版物图形输出

NumPy

• Python科学计算基础包

• 强大的N维数组对象

• 提供全面的数学函数、随机数生成器等

SciPy

• 基于NumPy的科学计算库

• 提供优化、积分、插值、特征值问题等算法

• 底层使用高度优化的Fortran、C和C++实现