独立的随机变量

独立的随机变量 (Independent Random Variables)

独立的随机变量 (Independent Random Variables) 是概率论和数理统计中最基础的概念之一。直观地说，两个随机变量独立意味着其中一个的取值不会对另一个的取值提供任何信息。这一概念是大数定律、中心极限定理等几乎所有概率论核心结论的基石。

定义

设 $X$ 和 $Y$ 是定义在同一概率空间上的两个随机变量。如果对于任意实数 $x$ 和 $y$，事件 $\{X \leq x\}$ 与 $\{Y \leq y\}$ 相互独立，即

则称 $X$ 与 $Y$ 相互独立，记为 $X \perp\!\!\!\perp Y$。用累积分布函数表述：联合分布函数等于边际分布函数的乘积，即 $F_{X,Y}(x,y) = F_X(x) \cdot F_Y(y)$。

将定义推广到 $n$ 个随机变量：$X_1,\ldots,X_n$ 相互独立当且仅当

离散型与连续型随机变量

对于离散型随机变量，独立等价于联合概率质量函数的因子分解：$p_{X,Y}(x,y) = p_X(x) p_Y(y)$。对于连续型随机变量，独立等价于联合概率密度函数的因子分解：$f_{X,Y}(x,y) = f_X(x) f_Y(y)$。

独立性与不相关性

独立与不相关是两个常被混淆的概念。若 $X$ 与 $Y$ 独立且期望存在，则 $\operatorname{Cov}(X,Y) = 0$，即独立推得不相关。但反之不成立：例如 $X \sim N(0,1)$，$Y = X^2$，则 $\operatorname{Cov}(X,Y) = 0$ 但 $X$ 与 $Y$ 并不独立。唯一的例外是多元正态分布：对于联合正态随机变量，不相关等价于独立。

关键性质

独立随机变量具有以下重要性质：

1. 期望的乘积性：$E[XY] = E[X] \cdot E[Y]$。
2. 方差的可加性：$\operatorname{Var}(X+Y) = \operatorname{Var}(X) + \operatorname{Var}(Y)$。
3. 函数的独立性：若 $X$ 与 $Y$ 独立，则对任意可测函数 $g, h$，$g(X)$ 与 $h(Y)$ 也独立。
4. 矩母函数的分解：$M_{X+Y}(t) = M_X(t) \cdot M_Y(t)$。

独立同分布 (i.i.d.)

若随机变量 $X_1,\ldots,X_n$ 相互独立且服从相同的分布 $F$，则称其为独立同分布 (i.i.d.) 样本。i.i.d. 假设是大数定律和中心极限定理等渐近理论的出发点，也是经典统计推断的基石。

条件独立性

条件独立是独立性的重要推广。给定 $Z$，称 $X$ 与 $Y$ 条件独立，如果

条件独立性在贝叶斯网络和图模型中扮演核心角色。

总结

独立随机变量的本质是联合分布可以因子分解为边际分布的乘积。独立性强于不相关性，但对于正态分布两者等价。i.i.d. 假设支撑着几乎所有渐近理论，是统计学最重要的概念之一。