正态分布线性组合的分布

正态分布线性组合的分布 (Distribution of a Linear Combination of Normal Variables)

正态分布线性组合的分布是概率论和数理统计中的一个基本而重要的定理。该定理指出，任意数量的独立正态分布随机变量的线性组合，其结果仍然服从正态分布。这个性质是正态分布区别于许多其他概率分布的独特之处，也是其在理论和应用中占据核心地位的关键原因之一。

为什么这个性质如此重要？在概率论中，大多数分布族都对线性组合不封闭。例如，两个独立的均匀分布随机变量之和服从一个三角分布，而非均匀分布；两个独立的指数分布随机变量之和服从伽马分布，而非指数分布。只有正态分布具有这样的优雅性质：无论取多少个独立正态变量，无论以何种权重进行线性组合，结果始终是正态分布。这使得正态分布在统计建模中具有无与伦比的便利性，尤其是在线性回归、信号处理和金融工程等高度依赖线性运算的领域。

核心定理

该定理可以被精确地表述如下：

假设有 $n$ 个独立的随机变量 $X_1, X_2, \dots, X_n$ 。对于每一个 $i=1, 2, \dots, n$ ，随机变量 $X_i$ 服从正态分布，其数学期望（均值）为 $\mu_i$ ，方差为 $\sigma_i^2$ 。我们可以将其记为：

X_i \sim N(\mu_i, \sigma_i^2)

现在，我们定义一个新的随机变量 $Y$ ，它是这些随机变量的一个线性组合，形式如下：

Y = a_1X_1 + a_2X_2 + \dots + a_nX_n = \sum_{i=1}^n a_iX_i

其中 $a_1, a_2, \dots, a_n$ 是一组任意的实数常量，并且至少有一个不为零。

该定理断言：随机变量 $Y$ 也服从正态分布。其均值和方差可以通过以下方式计算：

$Y$ 的数学期望 (Mean)：根据期望的线性性质，我们有： \[ E[Y] = E\left[\sum_{i=1}^n a_iX_i\right] = \sum_{i=1}^n E[a_iX_i] = \sum_{i=1}^n a_iE[X_i] = \sum_{i=1}^n a_i\mu_i \]
$Y$ 的方差 (Variance)：由于所有 $X_i$ 都是相互独立的，一个线性组合的方差等于各项方差的加权和。利用方差的性质 $Var(cX) = c^2Var(X)$ ，我们得到： \[ Var(Y) = Var\left(\sum_{i=1}^n a_iX_i\right) = \sum_{i=1}^n Var(a_iX_i) = \sum_{i=1}^n a_i^2Var(X_i) = \sum_{i=1}^n a_i^2\sigma_i^2 \]

因此，我们可以得出结论：

Y \sim N\left(\sum_{i=1}^n a_i\mu_i, \sum_{i=1}^n a_i^2\sigma_i^2\right)

这个性质有时被称为正态分布的再生性 (Reproductive Property) 或闭包性 (Closure Property)。

定理的证明思路

证明此定理最简洁的方法是使用矩生成函数 (Moment-Generating Function, MGF)。此外，也可以使用特征函数 (Characteristic Function) 来证明，因为特征函数对任意随机变量总是存在的，而矩生成函数并非总是存在。不过对于正态分布而言，两者均可使用，且推导过程几乎完全相同。

一个服从 $N(\mu, \sigma^2)$ 分布的随机变量 $X$ 的矩生成函数为：

M_X(t) = E[e^{tX}] = \exp\left(\mu t + \frac{1}{2}\sigma^2 t^2\right)

根据矩生成函数的性质，对于独立随机变量的和， $Y = \sum a_i X_i$ ，其矩生成函数是各项矩生成函数的乘积：

M_Y(t) = E[e^{tY}] = E\left[e^{t\sum a_iX_i}\right] = E\left[\prod_{i=1}^n e^{ta_iX_i}\right]

由于 $X_i$ 相互独立，期望的乘积等于乘积的期望：

M_Y(t) = \prod_{i=1}^n E[e^{(a_it)X_i}] = \prod_{i=1}^n M_{X_i}(a_it)

将 $X_i \sim N(\mu_i, \sigma_i^2)$ 的矩生成函数代入，并将 $t$ 替换为 $a_it$ ：

M_Y(t) = \prod_{i=1}^n \exp\left(\mu_i (a_it) + \frac{1}{2}\sigma_i^2 (a_it)^2\right)

M_Y(t) = \exp\left(\sum_{i=1}^n \left(a_i\mu_i t + \frac{1}{2}a_i^2\sigma_i^2 t^2\right)\right)

M_Y(t) = \exp\left(\left(\sum_{i=1}^n a_i\mu_i\right)t + \frac{1}{2}\left(\sum_{i=1}^n a_i^2\sigma_i^2\right)t^2\right)

我们观察到，这个结果 $M_Y(t)$ 的形式正是一个正态分布的矩生成函数。其均值为 $\sum_{i=1}^n a_i\mu_i$ ，方差为 $\sum_{i=1}^n a_i^2\sigma_i^2$ 。由于矩生成函数唯一地确定了分布（在矩生成函数存在的邻域内），因此证明了 $Y$ 服从该参数的正态分布。

这个证明的关键步骤在于利用了独立随机变量乘积的期望等于期望的乘积这一性质。如果变量不独立，则矩生成函数无法分解为乘积形式，这就是为什么独立性假设在定理中不可或缺的原因。

重要特例与应用

两个正态变量的和与差

假设 $X_1 \sim N(\mu_1, \sigma_1^2)$ 与 $X_2 \sim N(\mu_2, \sigma_2^2)$ 是独立的。

和 (Sum): $Y = X_1 + X_2$ \[ E[Y] = \mu_1 + \mu_2, \quad Var(Y) = 1^2\sigma_1^2 + 1^2\sigma_2^2 = \sigma_1^2 + \sigma_2^2 \] 因此， $Y \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)$ 。
差 (Difference): $Z = X_1 - X_2$ \[ E[Z] = \mu_1 - \mu_2, \quad Var(Z) = 1^2\sigma_1^2 + (-1)^2\sigma_2^2 = \sigma_1^2 + \sigma_2^2 \] 因此， $Z \sim N(\mu_1 - \mu_2, \sigma_1^2 + \sigma_2^2)$ 。

一个需要特别注意的学习点是：两个独立正态变量之差的方差是它们方差的和，而不是差。 这是因为系数 $-1$ 在方差计算中被平方为 $1$ 。

样本均值的分布

在统计推断中，一个极其重要的应用是确定样本均值的分布。

假设我们从一个服从 $N(\mu, \sigma^2)$ 的总体中抽取一个容量为 $n$ 的随机样本 $X_1, X_2, \dots, X_n$ 。这意味着这些样本是独立同分布 (i.i.d.) 的。

样本均值 $\bar{X}$ 的定义是：

\bar{X} = \frac{1}{n}(X_1 + X_2 + \dots + X_n) = \sum_{i=1}^n \frac{1}{n}X_i

这显然是一个线性组合，其中每个系数 $a_i = \frac{1}{n}$ 。根据定理：

$\bar{X}$ 的均值: \[ E[\bar{X}] = \sum_{i=1}^n \frac{1}{n}E[X_i] = \sum_{i=1}^n \frac{1}{n}\mu = n \cdot \frac{\mu}{n} = \mu \] 这表明样本均值是总体均值的无偏估计量。
$\bar{X}$ 的方差: \[ Var(\bar{X}) = \sum_{i=1}^n \left(\frac{1}{n}\right)^2 Var(X_i) = \sum_{i=1}^n \frac{1}{n^2}\sigma^2 = n \cdot \frac{\sigma^2}{n^2} = \frac{\sigma^2}{n} \]

因此，样本均值的精确分布是：

\bar{X} \sim N\left(\mu, \frac{\sigma^2}{n}\right)

这个精确的分布结论是进行关于总体均值的假设检验（如Z检验或t检验）和构建置信区间的理论基础。

对相关变量的推广

定理的核心假设是变量的独立性。如果随机变量 $X_i$ 不是独立的，但它们共同服从一个多元正态分布 (Multivariate Normal Distribution)，那么它们的线性组合 $Y$ 仍然服从正态分布。

在这种情况下，均值的计算公式不变，但方差的计算公式需要包含变量之间的协方差 (Covariance)。

对于两个相关的正态变量 $X_1$ 和 $X_2$ ，其线性组合 $Y = a_1X_1 + a_2X_2$ 的方差为：

Var(Y) = a_1^2Var(X_1) + a_2^2Var(X_2) + 2a_1a_2Cov(X_1, X_2)

这个推广在金融学中尤其重要，例如在现代投资组合理论中，单个资产的回报率通常是相关的。一个投资组合的总回报是各资产回报率的加权和（一种线性组合），因此计算投资组合的风险（方差）必须考虑资产之间的协方差。

与中心极限定理的关系

需要将本定理与中心极限定理 (Central Limit Theorem, CLT) 区分开来：

正态分布的线性组合定理：这是一个精确的结果。它要求原始变量本身就是正态分布的。结论对于任何样本容量 $n$ 都成立，无论大小。
中心极限定理：这是一个近似的结果。它对原始变量的分布没有太高要求（只要方差有限即可），不要求它们是正态的。结论是当样本容量 $n$ 足够大时，样本均值（或和）的分布近似于正态分布。

简而言之，本定理是关于"正态产生正态"的精确描述，而中心极限定理是关于"任何分布（在一定条件下）的和趋向于正态"的近似描述。

理解这两个定理之间的区别与联系，对于正确应用统计方法至关重要。在实际数据分析中，如果我们有充分理由相信数据来自正态总体，那么即使在小样本下也可以放心地使用基于正态性假设的推断方法（如t检验）。反之，若总体分布未知，则需依赖中心极限定理，但必须确保样本量足够大，使近似合理。许多统计方法的稳健性分析正是建立在这两个定理的互补关系之上。

返回百科索引