随机变量函数的分布

随机变量函数的分布 (Distribution of a Function of a Random Variable)

在概率论和统计学中，一个核心问题是：如果我们已知一个或多个随机变量的概率分布，那么由这些随机变量构成的函数的分布是什么？这个问题构成了许多统计推断理论的基石，例如推导统计量的抽样分布。

一个随机变量的函数本身也是一个随机变量。假设 $X$ 是一个随机变量，而 $g$ 是一个实值函数，那么 $Y = g(X)$ 就是一个新的随机变量。我们的目标是，在已知 $X$ 的分布（例如其概率质量函数 (PMF) 或概率密度函数 (PDF)）的情况下，求出 $Y$ 的分布。

解决这个问题的方法主要取决于原始随机变量 $X$ 是离散的还是连续的。

离散随机变量的函数分布

当 $X$ 是一个离散随机变量时，其函数 $Y = g(X)$ 的分布求解相对直接。

假设 $X$ 的所有可能取值为 $x_1, x_2, \dots$ ，其对应的概率质量函数 (PMF) 为 $p_X(x_i) = P(X = x_i)$。由于 $X$ 的取值是离散的，其函数 $Y = g(X)$ 的可能取值 $y_j = g(x_i)$ 也必然是一个可数集合，因此 $Y$ 也是一个离散随机变量。

为了求得 $Y$ 的 PMF $p_Y(y)$，我们需要找到所有使得 $g(X) = y$ 的 $X$ 的值，并将它们对应的概率相加。其计算公式为：

示例：

假设随机变量 $X$ 的 PMF 如下：

令 $Y = X^2$。我们来求 $Y$ 的 PMF。

1. 确定 $Y$ 的可能取值：

$X$ 的取值为 $\{-2, -1, 1, 2\}$，因此 $Y = X^2$ 的可能取值是 $\{(-2)^2, (-1)^2, 1^2, 2^2\} = \{4, 1\}$。

1. 计算每个取值的概率：

• 对于 $y=1$：

$P(Y = 1) = P(X^2 = 1) = P(X = -1 \text{ or } X = 1)$。 由于事件 $\{X=-1\}$ 和 $\{X=1\}$ 是互斥的，我们可以直接将它们的概率相加： $P(Y = 1) = P(X = -1) + P(X = 1) = 0.3 + 0.4 = 0.7$。

• 对于 $y=4$：

$P(Y = 4) = P(X^2 = 4) = P(X = -2 \text{ or } X = 2)$。 $P(Y = 4) = P(X = -2) + P(X = 2) = 0.1 + 0.2 = 0.3$。

1. 得到 $Y$ 的 PMF：

我们可以验证所有概率之和为 $0.7 + 0.3 = 1$。

连续随机变量的函数分布

当 $X$ 是一个连续随机变量时，求解其函数 $Y=g(X)$ 的分布会更复杂。主要有两种常用方法：分布函数法和变量替换法。

方法一：分布函数法 (The CDF Method)

这是最基本、最通用的方法，适用于任何类型的函数 $g(x)$（包括非单调函数）。其核心思想是先求出 $Y$ 的累积分布函数 (CDF) $F_Y(y)$，然后通过对 CDF 求导得到其概率密度函数 (PDF) $f_Y(y)$。

步骤如下：

1. 写出 $Y$ 的 CDF 定义：$F_Y(y) = P(Y \le y)$。
2. 用 $X$ 替换 $Y$：$F_Y(y) = P(g(X) \le y)$。
3. 解不等式：对不等式 $g(X) \le y$ 求解，将其转化为关于 $X$ 的一个或多个区间。这是此方法中最关键的一步。
4. 计算概率：利用 $X$ 的 CDF, $F_X(x)$, 或 PDF, $f_X(x)$, 计算上一步得到的关于 $X$ 的区间的概率。
5. 求导得到 PDF：对 $F_Y(y)$ 关于 $y$ 求导，得到 $Y$ 的 PDF：$f_Y(y) = \frac{d}{dy}F_Y(y)$。

示例：

假设 $X$ 服从参数为 $\lambda$ 的指数分布 (Exponential Distribution)，其 PDF 为 $f_X(x) = \lambda e^{-\lambda x}$ for $x > 0$。令 $Y = \sqrt{X}$，求 $Y$ 的分布。

1. $Y$ 的 CDF：$F_Y(y) = P(Y \le y)$。

首先确定 $Y$ 的取值范围。由于 $X > 0$，因此 $Y = \sqrt{X} > 0$。对于 $y \le 0$，$F_Y(y) = 0$。我们只考虑 $y > 0$ 的情况。

1. 用 $X$ 替换 $Y$：$F_Y(y) = P(\sqrt{X} \le y)$ for $y > 0$。

1. 解不等式：$\sqrt{X} \le y \implies 0 < X \le y^2$。

1. 计算概率：

所以，$Y$ 的 CDF 为：

1. 求导得到 PDF：

对于 $y > 0$，

因此， $Y$ 的 PDF 为：

这被称为瑞利分布 (Rayleigh distribution)。

方法二：变量替换法 (The Change of Variable Formula)

这是一种更直接的计算 PDF 的方法，但它要求函数 $y=g(x)$ 是严格单调的（严格递增或严格递减）并且可微。

假设 $y = g(x)$ 是一个严格单调函数，那么它存在唯一的反函数 $x = g^{-1}(y) = h(y)$。$Y$ 的 PDF 可以通过以下公式直接得到：

这里的 $\left| \frac{dh(y)}{dy} \right|$ 是反函数导数的绝对值，它在多维情况下推广为雅可比行列式 (Jacobian)的绝对值。这个因子是必需的，因为它保证了变换后总概率仍然积分为1。

当函数不是单调时： 如果 $g(x)$ 不是单调的，例如 $Y = X^2$，我们可以将 $X$ 的定义域划分为多个区间，使 $g(x)$ 在每个区间上都是单调的。然后，对每个区间应用变量替换法，并将结果相加。

若对于一个 $y$ 值，有 $k$ 个解 $x_1, x_2, \dots, x_k$ 使得 $g(x_i) = y$，那么 $Y$ 的 PDF 是每一部分贡献的总和：

其中 $x_i = h_i(y)$ 是第 $i$ 个反函数。

示例：

假设 $X$ 服从标准正态分布 $N(0, 1)$，其 PDF 为 $f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}$。令 $Y = X^2$，求 $Y$ 的分布。

1. 分析函数和反函数：

函数 $g(x) = x^2$ 不是单调的。对于任意 $y > 0$，有两个 $x$ 值与之对应：$x_1 = -\sqrt{y}$ (当 $x < 0$ 时) 和 $x_2 = \sqrt{y}$ (当 $x > 0$ 时)。 我们有两个反函数：

• $x_1 = h_1(y) = -\sqrt{y}$，其导数为 $h_1'(y) = -\frac{1}{2\sqrt{y}}$。
• $x_2 = h_2(y) = \sqrt{y}$，其导数为 $h_2'(y) = \frac{1}{2\sqrt{y}}$。

1. 应用多对一公式：

代入 $f_X(x)$ 的表达式：

对于 $y > 0$：

1. 结论：

$Y=X^2$ 的 PDF 为 $f_Y(y) = \frac{1}{\sqrt{2\pi y}} e^{-y/2}$ for $y > 0$。这正是自由度为1的卡方分布 ($\chi^2(1)$) 的 PDF。这个结果在假设检验理论中至关重要。

多变量函数的推广

上述方法可以自然地推广到多个随机变量的函数情形。设 $X_1, X_2, \dots, X_n$ 为 $n$ 个随机变量，其联合分布已知，我们需要求出 $Z = g(X_1, X_2, \dots, X_n)$ 的分布。

和的分布与卷积

当 $Z = X + Y$ 且 $X$ 与 $Y$ 相互独立时，$Z$ 的分布可通过卷积公式求得。对于连续随机变量，$Z$ 的 PDF 为：

对于离散随机变量，$Z$ 的 PMF 为：

卷积运算在信号处理、时间序列分析和金融经济学中有广泛应用。例如，独立同分布随机变量之和的分布可以通过反复卷积得到，这为中心极限定理提供了直观的数值验证途径。

商的分布

对于 $Z = X/Y$，其中 $X$ 和 $Y$ 是相互独立的连续随机变量，$Z$ 的分布可通过联合分布的雅可比变换推导得出：

一个重要的特例是：当 $X \sim N(0,1)$ 且 $Y \sim \chi^2(n)$ 时，$T = X/\sqrt{Y/n}$ 服从自由度 $n$ 的{}t-分布{}，这是小样本统计推断的核心工具。

极值分布

在实际问题中，我们经常关心一组随机变量中的最大值或最小值。设 $X_1, X_2, \dots, X_n$ 为独立同分布的随机变量，令 $M_n = \max\{X_1, \dots, X_n\}$。$M_n$ 的分布函数为：

类似地，最小值 $m_n = \min\{X_1, \dots, X_n\}$ 的分布函数为：

极值分布理论在气象学、工程可靠性和风险管理中具有重要应用。极值理论进一步指出，经过适当标准化后的 $M_n$ 收敛于广义极值分布，这一结论类似于中心极限定理对均值的收敛性。

数值方法与计算工具

当函数的解析形式过于复杂或不存在闭式解时，数值方法成为必要手段。

蒙特卡洛模拟是最通用的数值方法之一。其基本思路是：从 $X$ 的已知分布中抽取大量独立样本 $x^{(1)}, x^{(2)}, \dots, x^{(M)}$，然后计算 $y^{(i)} = g(x^{(i)})$，最后通过直方图或核密度估计来近似 $Y$ 的分布。随着样本量 $M$ 的增大，蒙特卡洛估计依概率收敛于真实分布。这一方法不需要对 $g$ 施加任何单调性或可微性假设，因此适用于极其复杂的函数变换。

矩生成函数与特征函数提供了另一类强大的解析工具。对于随机变量的独立和，矩生成函数满足 $M_{X+Y}(t) = M_X(t) M_Y(t)$，而特征函数满足 $\phi_{X+Y}(t) = \phi_X(t) \phi_Y(t)$。这一乘积性质使得求和运算在变换域中大大简化，再通过反变换即可得到分布的具体形式。

应用领域

随机变量函数的分布在以下领域具有核心地位：

• 统计推断：t-分布、F-分布和卡方分布等关键抽样分布全部源于正态随机变量函数的推导。
• 金融工程：期权定价中，Black-Scholes模型假定标的资产价格服从几何布朗运动，期权的payoff正是该随机过程的函数。
• 信号处理：瑞利分布和莱斯分布描述信号的包络分布，是无线通信理论的基础。
• 机器学习的概率模型：变分推断和生成对抗网络中广泛使用变量变换技术来构造灵活的概率分布族。
• 物理与工程：测量系统中的误差传播分析本质上就是随机变量函数分布的问题。