线性组合的分布

线性组合的分布 (Distribution of a Linear Combination)

线性组合的分布探讨概率论和统计学中一个核心问题：将多个随机变量通过加权求和即线性组合结合时，新随机变量的概率分布如何确定。这是理解中心极限定理、抽样分布以及金融中投资组合理论的基石。

随机变量的线性组合 (Linear Combination) 指形如

Y = a_1 X_1 + a_2 X_2 + \dots + a_n X_n = \sum_{i=1}^n a_i X_i

的表达式。其中 $X_1, X_2, \dots, X_n$ 是 $n$ 个随机变量， $a_1, a_2, \dots, a_n$ 是已知常数，称为权重 (weights) 或系数 (coefficients)。

核心任务是，在已知每个 $X_i$ 的概率分布及它们之间相互关系（如协方差）的条件下，确定 $Y$ 的概率分布及其关键特征，包括期望和方差。

无论构成线性组合的随机变量 $X_i$ 服从何种分布，其期望和方差都遵循明确的数学法则。这些法则普适，不要求变量独立或服从特定分布。

期望算子 $E[\cdot]$ 具有线性性质，线性组合的期望等于各随机变量期望的线性组合。

对于任意随机变量 $X_1, \dots, X_n$ 和任意常数 $a_1, \dots, a_n$ ，线性组合 $Y = \sum_{i=1}^n a_i X_i$ 的期望为：

E[Y] = E\left[\sum_{i=1}^n a_i X_i\right] = \sum_{i=1}^n a_i E[X_i]

此性质极为强大，不要求随机变量之间统计独立。

与期望不同，方差 $\operatorname{Var}(\cdot)$ 不具备完全线性。线性组合的方差不仅取决于各随机变量自身的方差，还取决于它们两两之间的协方差。

对于任意随机变量 $X_1, \dots, X_n$ 和任意常数 $a_1, \dots, a_n$ ，线性组合 $Y = \sum_{i=1}^n a_i X_i$ 的方差为：

\operatorname{Var}(Y) = \sum_{i=1}^n a_i^2 \operatorname{Var}(X_i) + 2 \sum_{1 \le i < j \le n} a_i a_j \operatorname{Cov}(X_i, X_j)

紧凑形式为：

\operatorname{Var}(Y) = \sum_{i=1}^n \sum_{j=1}^n a_i a_j \operatorname{Cov}(X_i, X_j)

这里利用 $\operatorname{Cov}(X_i, X_i) = \operatorname{Var}(X_i)$ 。

独立随机变量的特殊情况：当 $X_1, \dots, X_n$ 相互独立时，协方差为零。方差公式简化：

\operatorname{Var}(Y) = \sum_{i=1}^n a_i^2 \operatorname{Var}(X_i)

这一简化形式在实践中广泛使用，因为许多统计模型假设样本数据独立同分布。

虽然期望和方差的公式通用，但线性组合 $Y$ 的确切概率分布形式依赖原始随机变量 $X_i$ 的分布族。仅少数分布族在线性组合下具有封闭性。

正态分布表现出最强封闭性，是其在统计学中占据核心地位的原因之一。

若 $X_1, \dots, X_n$ 是独立的正态随机变量，其中 $X_i \sim N(\mu_i, \sigma_i^2)$ ，则任意线性组合 $Y = \sum_{i=1}^n a_i X_i$ 也服从正态分布。分布参数：

因此 $Y \sim N\left(\sum a_i \mu_i, \sum a_i^2 \sigma_i^2\right)$ 。

此性质可推广到非独立情况。若随机向量 $(X_1, \dots, X_n)$ 服从多元正态分布，则其任意线性组合 $Y$ 仍服从一元正态分布。

对其他常见分布，封闭性通常仅在求和（所有系数 $a_i = 1$ ）且变量独立时成立，称为可再生性或可加性：

泊松分布：若 $X_i \sim \operatorname{Poisson}(\lambda_i)$ 且相互独立，则 $S = \sum X_i \sim \operatorname{Poisson}(\sum \lambda_i)$ 。
卡方分布：若 $X_i \sim \chi^2(k_i)$ 且相互独立，则 $S = \sum X_i \sim \chi^2(\sum k_i)$ 。
伽马分布：若 $X_i \sim \operatorname{Gamma}(\alpha_i, \beta)$ 且相互独立（需相同率参数 $\beta$ ），则 $S = \sum X_i \sim \operatorname{Gamma}(\sum \alpha_i, \beta)$ 。
二项分布：若 $X_i \sim B(n_i, p)$ 且相互独立（需相同成功概率 $p$ ），则 $S = \sum X_i \sim B(\sum n_i, p)$ 。

除正态分布外，上述分布的封闭性通常不适用于系数不全为1的任意线性组合。

当线性组合的分布形式不明显时，可用更通用的数学工具推导。

矩生成函数 (MGF) 定义为 $M_X(t) = E[e^{tX}]$ ，具有两个核心性质：唯一性——若两个随机变量的MGF在 $t = 0$ 的邻域内相等，则概率分布相同；独立变量线性组合的MGF——若 $X_1, \dots, X_n$ 相互独立且 $Y = \sum a_i X_i$ ，则

M_Y(t) = \prod_{i=1}^n M_{X_i}(a_i t)

计算出 $M_Y(t)$ 后与已知分布匹配即确定 $Y$ 的分布。

对于两个独立随机变量的和 $Z = X + Y$ ，若为连续型，其概率密度函数 $f_Z(z)$ 可通过卷积积分得到：

f_Z(z) = \int_{-\infty}^{\infty} f_X(x) f_Y(z-x) \,dx

离散变量的卷积为求和形式。此法概念清晰但计算上通常比MGF法更复杂。

统计推断：进行假设检验或构造置信区间时需知样本均值 $\bar{X} = \frac{1}{n}\sum X_i$ 的分布。 $\bar{X}$ 是随机样本的线性组合（ $a_i = 1/n$ ），从 $N(\mu, \sigma^2)$ 总体抽样时样本均值精确服从 $N(\mu, \sigma^2/n)$ 。
金融学：现代投资组合理论中组合总回报率为单个资产回报率的加权平均。设 $R_i$ 为资产 $i$ 的回报率、 $w_i$ 为组合权重，则 $R_p = \sum w_i R_i$ 为线性组合。理解 $R_p$ 的期望和方差是资产配置和风险管理的核心。