独立性 (概率论)

独立性 (Independence in Probability Theory)

独立性 (Independence) 是概率论 (Probability Theory) 中最核心的概念之一。直观上，两个事件独立意味着其中一个事件的发生不会提供关于另一个事件是否发生的任何信息。独立性是许多统计推断方法——如独立同分布假设、随机抽样理论——的理论基石。

两个事件的独立性

设 $(\Omega, \mathcal{F}, P)$ 为一个概率空间。两个事件 $A, B \in \mathcal{F}$ 被称为是独立的，如果它们满足：

这一形式化定义与直觉一致：若 $P(B) > 0$，上式等价于 $P(A \mid B) = P(A)$，即事件 $B$ 的发生不改变事件 $A$ 的概率。同理，若 $P(A) > 0$，有 $P(B \mid A) = P(B)$。

注意：互不相容 (disjoint) 与独立是两个完全不同的概念。若 $A \cap B = \emptyset$ 且 $P(A), P(B) > 0$，则 $A$ 与 $B$ 必不独立（因为 $P(A \cap B) = 0 \neq P(A)P(B)$）。

多个事件的独立性

对于有限个事件 $A_1, A_2, \ldots, A_n$，独立性要求更严格。这些事件被称为相互独立 (mutually independent) 的，如果对于任意子集 $\{i_1, i_2, \ldots, i_k\} \subseteq \{1, 2, \ldots, n\}$，都有：

这里需要检验 $2^n - n - 1$ 个等式（所有 $k \ge 2$ 的组合），而不仅仅是任意两个事件之间的独立性（后者称为两两独立）。两两独立并不能推出相互独立。

随机变量的独立性

两个随机变量 $X$ 和 $Y$ 被称为独立的，如果对于任意 Borel 集 $B_1, B_2 \subseteq \mathbb{R}$，有：

等价地，可以通过分布函数判断：$X$ 与 $Y$ 独立当且仅当联合分布函数等于边缘分布函数的乘积：

对于离散随机变量，独立等价于联合概率质量函数等于边缘概率质量函数的乘积；对于连续随机变量，独立等价于联合概率密度函数等于边缘密度函数的乘积。

独立性的重要推论

1. 期望的乘积性：若 $X$ 与 $Y$ 独立且期望存在，则 $E[XY] = E[X] \cdot E[Y]$。反之则不一定成立（不相关不等于独立）。
2. 方差的可加性：若 $X_1, \ldots, X_n$ 相互独立，则 $\operatorname{Var}(\sum X_i) = \sum \operatorname{Var}(X_i)$。
3. 矩母函数的分解：若 $X$ 与 $Y$ 独立，则 $M_{X+Y}(t) = M_X(t) \cdot M_Y(t)$。
4. 独立同分布 (i.i.d.)：若一组随机变量相互独立且服从相同的分布，则称其为独立同分布样本。这是中心极限定理和大多数统计推断方法的基本前提。

在计量经济学中的应用

在经典线性回归模型 (CLRM) 中，通常假设误差项 $\varepsilon_i$ 之间相互独立。这一假设保证了普通最小二乘法 (OLS) 估计量的无偏性和有效性。若独立性假设被违背（如存在自相关），则需要使用广义最小二乘法 (GLS) 或异方差与自相关稳健标准误 (HAC) 等方法进行修正。