参数空间

参数空间 (Parameter Space)

参数空间 (Parameter Space) 是数理统计 (Mathematical Statistics) 和计量经济学 (Econometrics) 中的核心概念，指某个概率分布族或统计模型中所有可能参数值构成的集合。在参数估计 (Parameter Estimation) 和假设检验 (Hypothesis Testing) 中，参数空间决定了推断的可行范围和理论性质。

形式化定义

设一个统计模型由一族概率分布 $\{P_\theta: \theta \in \Theta\}$ 描述，其中 $\theta$ 是参数，$\Theta$ 即为参数空间。参数空间 $\Theta$ 通常是 $\mathbb{R}^k$ 的某个子集（$k$ 为参数个数），可以是开集、闭集、有界集或无穷维空间。

例如，对于正态分布 $N(\mu, \sigma^2)$，参数为 $\theta = (\mu, \sigma^2)$，参数空间为：

参数空间的维数与结构

1. 有限维参数空间：最常见的类型，参数个数为有限整数 $k$。例如： \begin{itemize}
2. 线性回归模型 $y = X\beta + \varepsilon$ 中，$\beta \in \mathbb{R}^k$，参数空间为 $\mathbb{R}^k$。
3. Logistic 回归中，参数空间同样为 $\mathbb{R}^k$。 \end{itemize}
4. 无穷维参数空间：出现在非参数统计 (Nonparametric Statistics) 中，此时参数本身是一个函数，无法用有限个实数表示。例如估计一个未知的概率密度函数 $f$，参数空间是某个函数空间（如 Sobolev 空间）。
5. 紧致参数空间：如果参数空间是紧致集 (Compact Set)，在许多情形下可以保证极大似然估计 (MLE) 的存在性和一致性。

在计量经济学中的角色

在计量经济学中，参数空间是模型识别、估计和检验的基础：

1. 识别 (Identification)：一个参数 $\theta$ 被称为可识别的，当且仅当映射 $\theta \mapsto P_\theta$ 是单射。若参数空间过大或存在冗余参数，可能导致识别失败。
2. MLE 与 GMM：极大似然估计和广义矩估计 (GMM) 均是在参数空间 $\Theta$ 内寻找最优参数值。$\Theta$ 的拓扑性质（如开闭性、凸性）直接影响优化算法的收敛性。
3. 假设检验：似然比检验 (Likelihood Ratio Test) 的零假设通常对应参数空间的一个子集 $\Theta_0 \subset \Theta$，检验统计量基于两个空间上的似然函数最大值之差。

相关概念

紧参数化 vs. 过度参数化

• 紧参数化 (Parsimonious Parameterization) 使用尽可能少的参数描述模型，参数空间维数低，估计方差小但可能引入偏差。
• 过度参数化 (Overparameterization) 则参数空间维数过高，模型灵活但容易过拟合，且参数可能不可识别。

参数空间的约束

在实际应用中，参数空间常受到约束。例如方差参数 $\sigma^2 > 0$、相关系数 $\rho \in [-1, 1]$、概率参数 $p \in [0, 1]$。带约束的估计问题可通过拉格朗日乘数法 (Lagrange Multiplier) 或Karhunen–Loève 定理等方法处理。

贝叶斯视角

在贝叶斯统计 (Bayesian Statistics) 中，参数空间上定义了一个先验分布 (Prior Distribution) $\pi(\theta)$，数据通过似然函数更新为后验分布 $p(\theta \mid X)$。先验分布的选择反映了分析者对参数空间中各区域的先验信念。当先验为无信息先验时（如均匀分布），后验主要受数据驱动。