S估计

S估计

S估计（S-estimator）是稳健回归中的高崩溃点估计方法，由 Rousseeuw 和 Yohai（1984）提出。其名称来源于其核心思想：最小化残差的稳健尺度（Scale）估计。

定义

给定线性模型 $y_i = x_i^T \beta + \varepsilon_i$，S估计定义为：

其中 $r_i(\beta) = y_i - x_i^T\beta$ 为残差，$\hat{\sigma}_s$ 为残差的稳健尺度估计，由以下方程隐式定义：

这里 $\rho(\cdot)$ 是 Tukey 双权或类似的有界损失函数，$\delta = E[\rho(Z)]$，$Z \sim N(0,1)$，常取 $\delta = \rho(\infty)/2$ 以在高斯模型下获得一致估计。

性质

S估计的核心优势在于高崩溃点：通过适当选择 $\rho$ 函数和 $\delta$，可达到理论最高崩溃点 $50\%$，即当近半数数据被污染时估计仍保持稳定。相比之下，OLS 的崩溃点为 $0\%$。

然而 S估计的效率较低：在高斯误差下，高崩溃点 S估计的渐近效率约为 $28.7\%$。这一缺陷催生了 MM估计——先用 S估计获得高崩溃点，再用 M估计提升效率。

与 M估计的对比

计算

S估计的计算涉及非凸优化，通常采用重新加权迭代或随机子抽样策略。常用算法：

1. 抽取大量 $p$ 元子样本
2. 对每个子样本求精确拟合
3. 用完整数据评估 $\hat{\sigma}_s$
4. 保留使 $\hat{\sigma}_s$ 最小的解作为最终估计

现代实现依赖 FAST-S 等确定性近似算法以加速收敛。

应用

S估计在计量经济学中用于处理异常值污染的截面数据，在时间序列中用于稳健趋势估计，也作为 MM估计和 $\tau$ 估计的初始估计量。在 R 语言中，\texttt{robustbase::lmrob} 和 \texttt{MASS::lqs} 提供 S估计的实现。