独立同分布 (independent and identically distributed, i.i.d.)

独立同分布 (independent and identically distributed, i.i.d.)

独立同分布（independent and identically distributed，简称 i.i.d.）是概率论与统计学中描述一组随机变量的核心性质：这组随机变量既相互独立，又服从相同的概率分布。i.i.d. 假设是经典统计推断、机器学习与计量经济学众多结果赖以成立的基础前提。

形式定义

设随机变量序列 $X_1, X_2, \ldots, X_n$，若满足：

1. 同分布：每个 $X_i$ 的累积分布函数相同，记为 $F$，即对任意 $i$，$P(X_i \le x) = F(x)$。
2. 独立性：联合分布等于边际分布的乘积，$F_{X_1,\ldots,X_n}(x_1,\ldots,x_n) = \prod_{i=1}^{n} F(x_i)$。

则称该序列为独立同分布的。

核心作用

i.i.d. 假设使一系列极限定理得以成立，构成统计推断的理论支柱：

• 大数定律：i.i.d. 样本的均值依概率（或几乎必然）收敛于总体期望，$\bar{X}_n \xrightarrow{P} \mu$，保证了样本均值作为估计量的相合性。
• 中心极限定理：在 i.i.d. 且方差有限时，标准化样本均值 $\sqrt{n}(\bar{X}_n - \mu)/\sigma$ 依分布收敛于标准正态分布，为构造置信区间和假设检验提供依据。
• 极大似然估计：i.i.d. 假设使似然函数分解为各观测贡献的乘积，对数似然为求和形式 $\ell(\theta) = \sum_i \log f(x_i \mid \theta)$，极大化大为简化。

现实中的偏离

许多实际数据并不满足 i.i.d. 假设：时间序列数据存在自相关（违背独立性）；面板数据存在个体内的聚类相关；非平稳过程的分布随时间改变（违背同分布）。针对这些情形，统计学发展出时间序列分析、聚类标准误、混合模型等专门工具。理解 i.i.d. 假设的适用边界，是正确选择分析方法、避免错误推断的前提。