不变性原理

不变性原理 (Invariance Principle)

不变性原理 (Invariance Principle) 是数理统计中决策理论的核心方法论之一。它断言：当一个统计问题在某个变换群下具有结构不变性时，统计决策规则也应保持相应的不变性（或等变性），从而将候选程序的范围从所有可能规则缩小到满足对称性约束的子类。该原理最早由 Hunt 和 Stein 在 1940 年代系统提出，后经 Lehmann 在《点估计理论》中加以完整阐述，现已成为寻找最优统计程序的基本工具。

形式化框架

考虑一个统计模型 $\mathcal{P} = \{P_{\theta}: \theta \in \Theta\}$ 和样本空间 $\mathcal{X}$。设 $G$ 是一个作用在 $\mathcal{X}$ 上的变换群，记其元素为 $g: \mathcal{X} \to \mathcal{X}$。若对每个 $g \in G$ 和每个 $\theta \in \Theta$，存在唯一的 $\bar{g}(\theta) \in \Theta$ 使得 $g(X)$ 的分布为 $P_{\bar{g}(\theta)}$（其中 $X \sim P_{\theta}$），则称该统计模型在 $G$ 下是不变的 (Invariant)。映射 $\bar{g}: \Theta \to \Theta$ 构成 $G$ 在参数空间上的诱导群，记为 $\bar{G}$。

在点估计问题中，记损失函数为 $L(\theta, d)$。若对任意 $g \in G$ 和决策 $d$，存在 $\tilde{g}(d)$ 使得 $L(\bar{g}(\theta), \tilde{g}(d)) = L(\theta, d)$，则称损失函数在群作用下不变。此时，若一个估计量 $\delta$ 满足 $\delta(g(x)) = \tilde{g}(\delta(x))$（对几乎所有的 $x$），则称 $\delta$ 是等变的 (Equivariant)。等变性意味着：先变换数据再估计，等价于先估计再对估计量施加相应变换——估计量"跟随"数据的对称性变化。

最大不变量与约化

不变性原理的核心技术工具是最大不变量 (Maximal Invariant)。一个统计量 $T = T(X)$ 称为不变的，若对任意 $g \in G$ 有 $T(g(x)) = T(x)$。若进一步地，$T(x_1) = T(x_2)$ 蕴含存在 $g \in G$ 使 $x_2 = g(x_1)$，则 $T$ 是最大不变量。所有不变程序都可表示为最大不变量的函数，从而维数被有效降低——这是不变性原理削减问题复杂度的机制所在。

一个经典例证：设 $X_1, \ldots, X_n \sim \mathcal{N}(\mu, \sigma^2)$，需估计 $\mu$。该问题在平移群 $G = \{g_c: x_i \mapsto x_i + c, c \in \mathbb{R}\}$ 下不变——平移所有观测值等价于平移参数 $\mu$。此时残差向量 $(X_1 - \bar{X}, \ldots, X_n - \bar{X})$ 构成最大不变量，而样本均值 $\bar{X}$ 是满足等变性的自然估计量：$\bar{X} + c$ 就是平移后数据的均值。

Pitman 估计量

不变性原理最重要的应用之一是Pitman 估计量——位置-尺度族中在等变约束下的最优估计。设 $X_1, \ldots, X_n$ 独立同分布，密度为 $\sigma^{-1} f((x - \mu)/\sigma)$，其中 $\mu \in \mathbb{R}$ 为位置参数，$\sigma > 0$ 为尺度参数。考虑在仿射群（包含平移和缩放变换）下的等变性要求，并采用平方损失。此时，最小风险等变估计量由 Pitman 公式给出：

Pitman 估计量在等变估计类中一致地最小化风险，它通过用不变先验（Haar 先验）的后验均值来构造。当总体为正态时，Pitman 估计量退化为通常的样本均值（对于 $\mu$）和调整后的样本标准差（对于 $\sigma$）。但对厚尾分布，Pitman 估计量可显著优于传统估计量。

极大似然估计的等变性

极大似然估计 (MLE) 天然满足等变性：若 $\hat{\theta}$ 是 $\theta$ 的 MLE，则对任意一一可测变换 $h$，$h(\hat{\theta})$ 就是 $h(\theta)$ 的 MLE。这并非巧合——MLE 的对数似然函数在参数变换下仅添加 Jacobian 项，极值点按相同方式变换。这一性质使 MLE 在应用不变性原理时尤为便利：一旦在约化后的最大不变量空间上求得 MLE，原参数空间上的估计量可由等变性自动恢复。

不变检验与置信区域

不变性原理亦延拓至假设检验和置信区域构造。一个检验函数 $\phi(x)$ 是不变的，若 $\phi(g(x)) = \phi(x)$ 对所有 $g \in G$ 成立——检验结论对数据施加群变换不发生改变。同理，置信区域 $\{x: \theta \in C(x)\}$ 若在群作用下满足 $C(g(x)) = \bar{g}(C(x))$，则称为等变的。不变检验的有效性来自以下事实：在合适的群结构下，似然比检验统计量是最大不变量，从而一致最优不变检验可在约化后的空间中构造。

一个典型场景是多元正态分布均值的检验问题。当协方差矩阵未知时，Hotelling's T² 检验在正交变换群下是不变的——对数据进行任意正交旋转不改变检验统计量的值。这种不变性使 T² 检验在非退化变换下保持一致的统计行为，为多元假设检验提供了可靠的基础。

局限性与争议

不变性原理虽强大，但并非无争议。首先，并非所有合理的统计问题都具有自然的群不变结构——强行施加不变约束可能导致效率损失。其次，Stein 悖论揭示：在估计多元正态均值（维数 $p \geq 3$）时，样本均值（它是平移等变的）被James-Stein估计量一致地优于——后者是不等变的。这意味着在某些高维场景中，放弃不变性反而能获得更好的风险表现。

更深层的质疑来自条件性原理 (Conditionality Principle)——Birnbaum 证明了似然原理与充分性原理和条件性原理蕴含了似然原理，而强似然原理与不变性原理存在张力。具体而言，在某些混合实验中，不变性原理的要求可能与基于充分性统计量的条件推断发生冲突——这揭示了不同统计哲学原则之间的内在不一致性。

此外，群的选择本身具有主观性：同一个统计问题可能对不同的变换群都是不变的，选择哪一个群来约束估计量并非总是不言自明的。实践中，群的选择应反映问题的实际物理或经济含义：例如在计量经济学中，变量的度量单位变换（从美元变为千美元）应不改变实质性结论，这意味着按比例缩放群是自然的；但在涉及序数数据时，单调变换群可能比线性群更恰当。

计量经济学中的应用

在计量经济学中，不变性原理以度量单位不变性 (Unit Invariance) 的形式出现。一个回归模型 $y = X\beta + \varepsilon$ 在因变量 $y$ 的缩放变换下应保持估计量的基本性质。普通最小二乘法 (OLS) 的系数估计值随因变量的缩放而同比例缩放（等变性），而 $t$ 统计量、$F$ 统计量和 $R^2$ 等检验统计量则是不变的——这一性质确保了实证结论不依赖于任意的单位选择。

不变性原理也支撑着工具变量 (IV) 估计的弱工具变量稳健推断。Anderson-Rubin 检验在正交变换群下具有不变性，使其在弱工具变量情形下仍保持正确的拒绝概率——而传统的 Wald 检验由于缺乏这种不变性质，在弱工具变量下严重扭曲。这一洞察催生了弱工具变量稳健推断的一整支文献，是当代计量经济学中最活跃的方法论领域之一。