# 估计 (Estimation)
在{{{统计学}}}和{{{计量经济学}}}中，估计 (Estimation) 是指利用从{{{总体}}} (Population) 中抽取的{{{样本}}} (Sample) 数据，来推断总体中未知{{{参数}}} (Parameter) 的数值的过程。由于我们通常无法观测到整个总体，因此估计成为了连接理论模型与观测数据的核心桥梁。
例如，我们可能想知道一个国家所有成年人的平均身高（一个总体参数），但我们不可能测量每个人的身高。因此，我们会抽取一个有代表性的样本，计算样本的平均身高，并用这个样本均值来“估计”总体的平均身高。
在这个过程中，我们必须区分两个关键概念：
* {{{Estimator}}} (估计量)：用于计算估计值的规则或公式。它是一个{{{随机变量}}}，因为它的值依赖于抽取的具体样本。例如，样本均值的计算公式 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ 是一个估计量。 * {{{Estimate}}} (估计值)：将具体样本数据代入估计量公式后得到的特定数值。例如，如果我们抽取的样本身高计算出的平均值为175cm，那么175cm就是一个估计值。
## 估计的类型
估计主要分为两种类型，它们提供了关于未知参数不同层面的信息。
### 1. 点估计 (Point Estimation)
{{{点估计}}} 是指使用样本数据来计算一个单一的数值，作为未知总体参数的“最佳”猜测。点估计的目标是提供一个尽可能接近真实参数值的估计。
* 例子： * 使用样本均值 $(\bar{x})$ 来估计总体均值 $(\mu)$。 * 使用样本比例 $(\hat{p})$ 来估计总体比例 $(p)$。 * 使用样本方差 $(s^2)$ 来估计总体方差 $(\sigma^2)$。
尽管点估计简洁明了，但它本身并未提供关于估计不确定性的任何信息。我们知道这个估计值几乎不可能恰好等于真实的参数值，但我们不知道它可能偏离多远。
### 2. 区间估计 (Interval Estimation)
{{{区间估计}}} 旨在弥补点估计的不足。它提供一个数值范围，并以一定的概率水平相信这个范围包含了未知的真实参数值。这个范围被称为 {{{置信区间}}} (Confidence Interval)，相关的概率水平被称为 {{{置信水平}}} (Confidence Level)。
* 例子：一个关于总体均值 $\mu$ 的95%置信区间可能是 $[172\text{cm}, 178\text{cm}]$。这并不意味着 $\mu$ 有95%的概率落在这个区间内（因为 $\mu$ 是一个固定的常数），而是指如果我们反复使用相同的抽样和估计程序，由这些样本构造出的大量置信区间中，大约有95%的区间会包含真实的参数值 $\mu$。
区间估计明确地量化了由于抽样带来的不确定性，因此在科学研究和决策中更为常用。区间的宽度反映了估计的{{{精确度}}}：区间越窄，精确度越高。
## 估计的方法
为了得到估计量，统计学家开发了多种系统性的方法。以下是三种最主要的方法。
### 1. 矩估计法 (Method of Moments, MOM)
{{{矩估计法}}}是一种较为古老和直观的估计方法。其基本思想是：用样本的{{{矩}}} (Moment) 来估计总体的相应矩，然后通过这些关系求解出需要估计的参数。
* 原理：令总体的第 $k$ 阶矩为 $E[X^k]$（通常是未知参数 $\theta$ 的函数），样本的第 $k$ 阶矩为 $M_k = \frac{1}{n}\sum_{i=1}^n X_i^k$。矩估计法通过建立并求解方程组 $E[X^k] = M_k$ 来得到参数 $\theta$ 的估计量 $\hat{\theta}_{MOM}$。 * 例子：若要估计一个总体的均值 $\mu$ 和方差 $\sigma^2$。 1. 第一阶总体矩是 $E[X] = \mu$。第一阶样本矩是 $M_1 = \bar{X}$。我们得到：$\hat{\mu} = \bar{X}$。 2. 第二阶总体矩是 $E[X^2] = Var(X) + (E[X])^2 = \sigma^2 + \mu^2$。第二阶样本矩是 $M_2 = \frac{1}{n}\sum X_i^2$。我们得到方程：$\hat{\sigma}^2 + \hat{\mu}^2 = M_2$。将 $\hat{\mu} = \bar{X}$ 代入，即可解出 $\hat{\sigma}^2$。
### 2. 最大似然估计 (Maximum Likelihood Estimation, MLE)
{{{最大似然估计}}} 是现代统计推断中最重要和最广泛使用的估计方法之一。其核心思想是：寻找一个参数值，使得我们所观测到的这组样本数据出现的{{{概率}}}（或{{{似然性}}}) 最大。
* 原理： 1. 首先，写出 {{{似然函数}}} (Likelihood Function) $L(\theta | x_1, \dots, x_n)$。该函数表示在给定参数 $\theta$ 的条件下，观测到当前样本 $(x_1, \dots, x_n)$ 的概率密度。如果样本是独立同分布的，则似然函数是各观测值概率密度函数的连乘积： $$L(\theta | x_1, \dots, x_n) = \prod_{i=1}^n f(x_i; \theta)$$ 2. 最大似然估计量 $\hat{\theta}_{MLE}$ 就是使这个 $L(\theta)$ 函数最大化的 $\theta$ 值。 3. 在实践中，为了计算方便，通常最大化对数似然函数 $\ln L(\theta)$，因为对数函数是单调递增的，最大化 $\ln L(\theta)$ 与最大化 $L(\theta)$ 会得到相同的 $\theta$ 值。 $$\ln L(\theta) = \sum_{i=1}^n \ln f(x_i; \theta)$$
MLE 估计量在大的样本下通常具有非常优良的性质（如一致性、渐进正态性和渐进有效性）。
### 3. 最小二乘估计 (Least Squares Estimation, LSE)
{{{最小二乘估计}}} 主要应用于{{{回归分析}}}中，用来估计模型参数。其基本思想是：选择一组参数，使得模型预测值与实际观测值之间的残差平方和 (Sum of Squared Residuals) 最小。
* 原理：假设我们有一个模型，例如线性模型 $y_i = \beta_0 + \beta_1 x_i + \epsilon_i$，其中 $\epsilon_i$ 是误差项。对于给定的参数估计值 $\hat{\beta}_0$ 和 $\hat{\beta}_1$，预测值为 $\hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_i$。残差为 $e_i = y_i - \hat{y}_i$。 * LSE的目标是找到能使以下目标函数最小的参数值 $(\hat{\beta}_0, \hat{\beta}_1)$： $$S(\beta_0, \beta_1) = \sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - (\beta_0 + \beta_1 x_i))^2$$ * 对于线性回归模型，这种方法被称为 {{{普通最小二乘法}}} (Ordinary Least Squares, OLS)，并且可以得到参数估计量的显式解析解。
## 估计量的性质
我们如何评价一个估计量的好坏？统计学家定义了几个关键的性质来衡量估计量的优良性。一个“好”的估计量应该尽可能准确且可靠。
#### 1. 无偏性 (Unbiasedness)
一个估计量被称为是无偏的，如果它的{{{期望值}}}（或抽样分布的均值）恰好等于被估计的真实参数值。
* 定义：对于参数 $\theta$ 的估计量 $\hat{\theta}$，如果 $E[\hat{\theta}] = \theta$，则称 $\hat{\theta}$ 是 $\theta$ 的一个 {{{无偏估计量}}} (Unbiased Estimator)。 * 直观理解：无偏性意味着，尽管单次估计可能会高于或低于真实值，但如果进行无数次重复抽样和估计，这些估计值的平均会精确地指向真实参数。 * {{{偏误}}} (Bias) 被定义为 $Bias(\hat{\theta}) = E[\hat{\theta}] - \theta$。无偏估计量的偏误为零。
#### 2. 有效性 (Efficiency)
有效性关注的是估计量的{{{方差}}}。在所有无偏估计量中，方差最小的那个是最优的。
* 定义：对于两个无偏估计量 $\hat{\theta}_1$ 和 $\hat{\theta}_2$，如果 $Var(\hat{\theta}_1) < Var(\hat{\theta}_2)$，则称 $\hat{\theta}_1$ 比 $\hat{\theta}_2$ 更有效。 * 直观理解：一个更有效的估计量意味着它的估计值更紧密地围绕在真实参数周围，即估计结果的波动性更小，更可靠。 * 在特定条件下（例如线性模型），满足最小方差的无偏估计量被称为 {{{最佳线性无偏估计量}}} (Best Linear Unbiased Estimator, BLUE)。
#### 3. 一致性 (Consistency)
一致性是一个{{{渐近性质}}} (Asymptotic Property)，它描述了当样本量趋于无穷大时估计量的行为。
* 定义：如果当样本量 $n \to \infty$ 时，估计量 $\hat{\theta}_n$ 在概率上收敛于真实参数值 $\theta$，则称该估计量是一致的。记为 $\hat{\theta}_n \xrightarrow{p} \theta$。 * 直观理解：一致性意味着，只要我们收集足够多的数据，我们的估计量就会变得任意地接近真实参数值。这是任何一个合理估计量都应具备的基本要求。它通常由{{{大数定律}}} (Law of Large Numbers) 保证。
#### 4. 充分性 (Sufficiency)
一个估计量（或更准确地说，一个{{{充分统计量}}}）如果包含了样本中关于未知参数的全部信息，那么它就是充分的。
* 定义：一个统计量 $T(X_1, \dots, X_n)$ 被称为参数 $\theta$ 的充分统计量，如果样本 $(X_1, \dots, X_n)$ 在给定 $T$ 的条件下的条件分布与 $\theta$ 无关。 * 这意味着一旦我们计算了充分统计量 $T$ 的值，原始样本数据对于推断 $\theta$ 就不再提供任何额外信息。好的估计量通常都是充分统计量的函数。