KNOWECON WIKI

ARTICLE

马尔可夫链

马尔可夫链 (Markov Chain) 马尔可夫链（Markov Chain）是一类具有马尔可夫性质（Markov Property）的随机过程，由俄国数学家安德雷·马尔可夫（Andrey Markov）于1906年首次提出。其核心特征是无记忆性：给定当前状态，未来状态的条件概率分布仅取决于当前状态，而与过去的历史路径完全无关。用数学语言表述，对于状态序列

浏览 2 更新 2025-10-26

马尔可夫链 (Markov Chain)

马尔可夫链（Markov Chain）是一类具有马尔可夫性质（Markov Property）的随机过程，由俄国数学家安德雷·马尔可夫（Andrey Markov）于1906年首次提出。其核心特征是无记忆性：给定当前状态，未来状态的条件概率分布仅取决于当前状态，而与过去的历史路径完全无关。用数学语言表述，对于状态序列 {X0,X1,X2,… }\{X_0, X_1, X_2, \dots\} 和所有时刻 nn，满足：

P(Xn+1=x∣Xn=xn,Xn−1=xn−1,…,X0=x0)=P(Xn+1=x∣Xn=xn)P(X_{n+1} = x \mid X_n = x_n, X_{n-1} = x_{n-1}, \dots, X_0 = x_0) = P(X_{n+1} = x \mid X_n = x_n)

这一简洁假设使马尔可夫链成为概率论中既富有结构、又极具应用广度的模型框架，广泛渗透于计量经济学、宏观经济学、金融工程、贝叶斯统计及计算机科学等领域。

基本构成要素

一个离散时间马尔可夫链由三个核心要素定义：

  1. 状态空间 (State Space) SS：系统所有可能状态的集合。在经济学应用中，状态空间可以是有限的（如经济处于"繁荣"或"衰退"两种区制），也可以是可数无限的（如企业的雇员数量）。状态空间为有限集时，称为有限马尔可夫链。
  2. 转移概率 (Transition Probability)：Pij=P(Xn+1=j∣Xn=i)P_{ij} = P(X_{n+1} = j \mid X_n = i)，表示从状态 ii 一步转移至状态 jj 的概率。所有转移概率构成转移概率矩阵 P=(Pij)\mathbf{P} = (P_{ij})，其每一行元素之和为 1（即 ∑jPij=1\sum_j P_{ij} = 1），称为随机矩阵（Stochastic Matrix）。
  3. 初始分布 (Initial Distribution) π(0)\boldsymbol{\pi}^{(0)}：描述链在时刻 0 时处于各状态的概率分布。结合转移矩阵，任意时刻 nn 的状态分布可由 π(n)=π(0)Pn\boldsymbol{\pi}^{(n)} = \boldsymbol{\pi}^{(0)} \mathbf{P}^n 递推得到。

若转移概率不随时间变化（即 PijP_{ij} 与 nn 无关），则称该链为时间齐次（Time-homogeneous）马尔可夫链。本文以下讨论均假设时间齐次性。

查普曼-柯尔莫哥洛夫方程与多步转移

马尔可夫链的优雅之处在于多步转移可通过矩阵乘法简洁表达。查普曼-柯尔莫哥洛夫方程（Chapman-Kolmogorov Equation）刻画了 m+nm+n 步转移概率与中间状态的关系：

Pij(m+n)=∑k∈SPik(m)Pkj(n)P_{ij}^{(m+n)} = \sum_{k \in S} P_{ik}^{(m)} P_{kj}^{(n)}

其中 Pij(m)=P(Xm=j∣X0=i)P_{ij}^{(m)} = P(X_m = j \mid X_0 = i) 是 mm 步转移概率。在矩阵形式下，mm 步转移矩阵等于 Pm\mathbf{P}^m，而查普曼-柯尔莫哥洛夫方程本质就是矩阵乘法的结合律：P(m+n)=PmPn\mathbf{P}^{(m+n)} = \mathbf{P}^m \mathbf{P}^n。这为研究链的长期行为提供了代数工具。

状态的分类

根据长期行为，马尔可夫链中的状态可划分为不同类型：

  • 常返态 (Recurrent State)：从状态 ii 出发，链以概率 1 最终返回 ii。若期望返回时间有限，则称为正常返（Positive Recurrent）；若期望返回时间无限，则称为零常返（Null Recurrent）。
  • 瞬时态 (Transient State)：从状态 ii 出发，链以正概率永不返回 ii。在有限马尔可夫链中，链最终必然离开所有瞬时态并被常返态吸收。
  • 吸收态 (Absorbing State)：Pii=1P_{ii} = 1 的特殊常返态，一旦进入便永不能离开。例如，破产模型中的"企业退出"状态即为吸收态。
  • 周期性 (Periodicity)：状态 ii 的周期 d(i)d(i) 是返回 ii 所需步数的最大公约数。若 d(i)=1d(i) = 1，状态是非周期的；若所有状态互通、正常返且非周期，则链是遍历的（Ergodic）。

若状态空间中的状态彼此互通（即对于任意 i,ji, j，存在 m,nm, n 使得 Pij(m)>0P_{ij}^{(m)} > 0 且 Pji(n)>0P_{ji}^{(n)} > 0），则称链为不可约（Irreducible）。有限不可约马尔可夫链的所有状态必为正常返。

平稳分布

平稳分布（Stationary Distribution）π=(π1,π2,… )\boldsymbol{\pi} = (\pi_1, \pi_2, \dots) 是满足以下条件的一个概率分布：

π=πP,∑iπi=1\boldsymbol{\pi} = \boldsymbol{\pi} \mathbf{P}, \quad \sum_i \pi_i = 1

这意味着若当前状态服从 π\boldsymbol{\pi}，则经过任意步转移后分布保持不变。对于不可约且非周期的有限马尔可夫链，平稳分布唯一存在，且链的分布在长期意义上收敛于该分布：

lim⁡n→∞π(n)=π,且lim⁡n→∞Pij(n)=πj\lim_{n \to \infty} \boldsymbol{\pi}^{(n)} = \boldsymbol{\pi}, \quad \text{且} \quad \lim_{n \to \infty} P_{ij}^{(n)} = \pi_j

这就是遍历定理（Ergodic Theorem）的核心结论，为马尔可夫链的长期预测提供了确定性依据。平稳分布在经济学中可对应于经济的长期区制分布、企业的长期市场份额分布等。

在经济学与相关领域的应用

马尔可夫链在经济学和统计学中的应用极为广泛：

  1. 区制转换模型 (Regime-Switching Models)：汉密尔顿（Hamilton, 1989）提出的马尔可夫区制转换模型用不可观测的马尔可夫链描述经济在"扩张"与"衰退"之间的切换，广泛应用于商业周期分析、利率建模和波动率预测。
  2. 收入动态与代际流动：使用马尔可夫链刻画家庭收入在不同分位数间的转换概率，通过转移矩阵量化代际流动性（Intergenerational Mobility）和社会阶层固化程度。
  3. 信用评级迁移：信用风险建模中，标准普尔、穆迪等机构构造评级转移矩阵，描述企业信用等级（如 AAA、AA、...、Default）在各期限内的迁移概率，是信用风险管理和定价的基础工具。
  4. 马尔可夫链蒙特卡洛 (MCMC)：在贝叶斯统计中，MCMC 方法通过构造以目标后验分布为平稳分布的马尔可夫链来抽样，从而解决高维积分难题。代表性算法包括梅特罗波利斯-黑斯廷斯算法（Metropolis-Hastings）和吉布斯抽样（Gibbs Sampling）。
  5. 动态规划与宏观经济学：在随机动态规划中，外生冲击（如技术冲击、偏好冲击）常被建模为有限状态的马尔可夫链，使贝尔曼方程的数值求解可行，构成现代宏观定量分析的工作马。
  6. 搜寻与匹配理论：劳动力市场搜寻模型（如戴蒙德-莫滕森-皮萨里德斯模型）中，工人的就业状态（就业/失业）随外生工作机会到达和离职冲击共同决定，构成一个两状态马尔可夫链。

局限与拓展

马尔可夫性质虽简洁有力，但其无记忆假设在应用中常受到挑战。许多实际序列呈现长记忆性或路径依赖性，违反一阶马尔可夫假设。对此，常用拓展包括：高阶马尔可夫链——允许状态依赖于前 kk 期而非仅前一期的历史；隐马尔可夫模型（Hidden Markov Model, HMM）——假设观测变量由不可直接观测的隐马尔可夫链生成，广泛应用于语音识别、基因序列分析和金融波动率建模；以及连续时间马尔可夫链——允许状态在任意连续时刻发生转移，转移速率由转移强度矩阵（Generator Matrix）刻画，是排队论和连续时间金融模型的基础。