统计量

统计量 (Statistic)

统计量 (Statistic) 是统计学中的一个基本且核心的概念。简单来说，统计量是样本数据的函数，且该函数不依赖于任何未知的总体参数。这意味着，只要我们有了一组样本观测值，我们就可以直接计算出统计量的值。

统计量的主要作用是作为连接样本信息和总体特征的桥梁。我们通过计算样本的统计量来对未知的总体进行推断，例如估计总体的某个参数 (parameter) 或者对关于总体的某个假设进行检验。

一个形式化的定义是：给定一个来自某总体的样本 $X_1, X_2, \dots, X_n$，一个统计量 $T$ 是一个可观测的随机变量，其表达式为样本的函数 $T = g(X_1, X_2, \dots, X_n)$。重要的是，函数 $g$ 的形式不能包含任何未知的总体参数，比如总体均值 $\mu$ 或总体标准差 $\sigma$。

例如，样本均值 $\bar{X} = \frac{1}{n}\sum_{i=1}^{n}X_i$ 是一个统计量，因为一旦我们获得了样本数据 $x_1, x_2, \dots, x_n$，我们就可以直接计算出它的值。然而，$\frac{1}{n}\sum_{i=1}^{n}(X_i - \mu)$ 就不是一个统计量，因为它依赖于未知的总体均值 $\mu$。

统计量的核心特征：作为随机变量

对于初学者而言，最关键的一点是理解：一个统计量本身就是一个随机变量。

• 来源：统计量的值是从样本 (sample) 计算得出的。由于样本是从总体 (population) 中随机抽取的，因此不同的抽样会得到不同的样本数据。
• 变异性：因为样本是随机的，所以基于不同样本计算出的同一个统计量的值也通常是不同的。例如，我们从同一个班级中随机抽取两组不同的10名学生，计算他们的平均身高，这两个“样本均值”几乎不可能会完全一样。
• 分布：作为一个随机变量，统计量拥有其自身的概率分布，这个分布被称为抽样分布 (Sampling Distribution)。抽样分布描述了在重复抽样中，一个统计量可能取到的所有值及其对应的概率。例如，中心极限定理告诉我们，在一定条件下，样本均值 $\bar{X}$ 的抽样分布近似于一个正态分布。

理解统计量的随机性是掌握统计推断（如置信区间和假设检验）的基础。

统计量 vs. 参数

区分统计量和参数 (Parameter) 是学习统计学时的第一个重要任务。

| 特征 | 统计量 (Statistic) | 参数 (Parameter) | | --- | --- | --- | | 定义 | 描述样本特征的数值 | 描述总体特征的数值 | | 来源 | 从样本数据计算得出 | 描述整个总体的固有属性 | | 值 | 是一个随机变量，其值随样本的不同而变化 | 是一个固定的常数，但其值通常未知 | | 表示 | 通常用拉丁字母表示（如 $\bar{X}, S^2, \hat{p}$） | 通常用希腊字母表示（如 $\mu, \sigma^2, p$） | | 目标 | 用于推断或估计参数 | 推断的目标对象 | | 示例 | 样本均值 ($\bar{X}$)，样本方差 ($S^2$) | 总体均值 ($\mu$)，总体方差 ($\sigma^2$) |

常见的统计量示例

根据其功能，统计量可以分为不同的类别。以下是一些最常见的统计量：

描述性统计量 (Descriptive Statistics)

这些统计量用于概括和描述样本数据的基本特征。

1. 集中趋势的度量 (Measures of Central Tendency)

• 样本均值 (Sample Mean): $\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$。它是对总体均值 $\mu$ 的一个自然估计。
• 样本中位数 (Sample Median): 将样本数据排序后位于最中间的数值。对于偏态分布，中位数通常比均值更能代表数据的中心位置。
• 样本众数 (Sample Mode): 样本中出现频率最高的数值。

1. 离散趋势的度量 (Measures of Dispersion)

• 样本方差 (Sample Variance): $S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \bar{X})^2$。它度量了数据点相对于样本均值的离散程度。注意分母是 $n-1$ 而不是 $n$，这是为了确保 $S^2$ 是总体方差 $\sigma^2$ 的一个无偏估计量。
• 样本标准差 (Sample Standard Deviation): $S = \sqrt{S^2}$。它是方差的平方根，与原始数据具有相同的单位。
• 全距 (Range): 样本最大值与最小值的差。
• 四分位距 (Interquartile Range, IQR): 第三四分位数 ($Q_3$)与第一四分位数 ($Q_1$)的差，度量了数据中间50\%的离散程度。

1. 顺序统计量 (Order Statistics)

将样本 $X_1, X_2, \dots, X_n$ 按从小到大的顺序排列后得到 $X_{(1)} \le X_{(2)} \le \dots \le X_{(n)}$。这个有序序列中的任何一个值都是一个顺序统计量。例如：

• 样本最小值 $X_{(1)}$
• 样本最大值 $X_{(n)}$
• 样本中位数

推断性统计量 (Inferential Statistics)

这些统计量是进行统计推断（估计和假设检验）的工具。

1. 估计量 (Estimator)

任何用于估计未知总体参数的统计量都可称为估计量。例如，样本均值 $\bar{X}$ 是总体均值 $\mu$ 的估计量；样本比例 $\hat{p}$ 是总体比例 $p$ 的估计量。

1. 检验统计量 (Test Statistic)

在假设检验中，检验统计量是一个根据样本数据计算出的值，用于决定是否拒绝原假设。它的计算公式在原假设成立的条件下，通常会服从一个已知的概率分布（如正态分布、t分布、卡方分布等）。

• t-statistic (t统计量): 通常用于关于总体均值的检验，尤其是在总体标准差未知且样本量较小时。例如：$t = \frac{\bar{X} - \mu_0}{S/\sqrt{n}}$。
• z-statistic (z统计量): 用于大样本或总体标准差已知时关于均值或比例的检验。
• chi-squared statistic (卡方统计量): 常用于拟合优度检验或列联表中的独立性检验。
• F-statistic (F统计量): 常用于方差分析 (ANOVA) 中，检验两个或多个总体的均值是否相等。

统计量作为估计量的优良性质

当我们使用一个统计量（此时称为估计量 $\hat{\theta}$）来估计一个未知参数 $\theta$ 时，我们希望这个估计量具有一些理想的数学性质。这些性质衡量了估计量的好坏。

• 无偏性 (Unbiasedness): 如果一个估计量的抽样分布的期望值等于它所估计的参数的真值，即 $E(\hat{\theta}) = \theta$，那么这个估计量是无偏的。无偏性意味着，平均而言，估计量既不会高估也不会低估参数。
• 有效性 (Efficiency): 如果有两个都是无偏的估计量，那么方差较小的那个更有效。一个有效的估计量在重复抽样中波动性更小，因此更可靠。
• 一致性 (Consistency): 一个一致的估计量意味着当样本容量 $n$ 趋于无穷大时，估计量的值会依概率收敛于参数的真值。这表明，拥有更多的数据会让我们得到更准确的估计。
• 充分性 (Sufficiency): 一个充分统计量是指它包含了样本中关于未知参数的全部信息。一旦充分统计量的值给定，样本中的任何其他信息对于推断该参数都毫无用处。

总结

总而言之，统计量是现代统计学的基石。它是由样本数据计算出的、不含任何未知参数的函数。作为连接已知样本与未知总体的桥梁，统计量既可以用来描述数据（描述统计学），也可以用来推断总体（推断统计学）。深刻理解统计量是一个具有自身分布的随机变量，并能清晰区分它与参数的差别，是进行一切统计分析与研究的先决条件。