期望频数的计算

期望频数的计算 (Calculation of Expected Frequencies)

期望频数 (Expected Frequency)，在统计学中通常用 $E$ 表示，是指在一个特定的假设检验（尤其是卡方检验）的框架下，基于零假设 ($H_0$) 为真的前提，我们理论上预期在样本的每个分类或单元格中出现的观测次数。它是一个理论值，是与我们从数据中直接观察到的 观测频数 (Observed Frequency, $O$) 相对应的基准。

计算期望频数的根本目的，是为了构建一个标准，用以衡量观测数据与理论假设之间的差异。如果观测频数与期望频数相差很大，我们就有理由怀疑最初的零假设可能是不成立的。

期望频数的计算方法取决于所进行的具体统计检验。最常见的两种情景是 卡方独立性检验 和 卡方拟合优度检验。

在卡方独立性检验中计算期望频数

卡方独立性检验 (Chi-squared Test for Independence) 用于检验两个类别变量之间是否存在关联。数据通常被组织在一个称为 列联表 (Contingency Table) 的二维表格中。

1. 理论基础

该检验的零假设 ($H_0$) 是：两个变量是 统计独立 的。根据概率论，如果两个事件 A 和 B 是独立的，那么它们同时发生的概率等于它们各自概率的乘积，即 $P(A \cap B) = P(A) \times P(B)$。

我们将这个原理应用于列联表。假设一个列联表有 $r$ 行和 $c$ 列。对于位于第 $i$ 行和第 $j$ 列的单元格，如果行变量和列变量是独立的，那么一个观测值落入该单元格的概率可以估计为：

$P(\text{属于第 } i \text{ 行 且 属于第 } j \text{ 列}) = P(\text{属于第 } i \text{ 行}) \times P(\text{属于第 } j \text{ 列})$

我们可以用样本数据来估计这两个边际概率：

• $P(\text{属于第 } i \text{ 行}) \approx \frac{\text{第 } i \text{ 行的总频数 (Row Total, } R_i)}{\text{样本总数 (Grand Total, } N)}$
• $P(\text{属于第 } j \text{ 列}) \approx \frac{\text{第 } j \text{ 列的总频数 (Column Total, } C_j)}{\text{样本总数 (Grand Total, } N)}$

因此，在独立性假设下，落入 $(i, j)$ 单元格的期望频数 $E_{ij}$ 就是总样本量 $N$ 乘以该单元格的期望概率：

2. 计算公式

通过简化上述推导，我们得到了一个非常直观和常用的计算公式：

其中：

• $E_{ij}$ 是第 $i$ 行、第 $j$ 列单元格的期望频数。
• $R_i$ 是第 $i$ 行所有观测频数的总和。
• $C_j$ 是第 $j$ 列所有观测频数的总和。
• $N$ 是表格中所有观测频数的总和。

3. 计算示例

假设我们研究吸烟状况与肺部健康状况之间的关系，得到以下 2x2 列联表的观测频数数据：

| | 肺部健康 | 肺部不健康 | 行总计 ($R_i$) | | :------------- | :------: | :--------: | :------------------: | | 吸烟 | 50 | 70 | 120 | | 不吸烟 | 80 | 50 | 130 | | 列总计 ($C_j$) | 130 | 120 | 总计 $N=250$ |

我们的零假设是“吸烟状况与肺部健康状况相互独立”。现在，我们计算每个单元格的期望频数：

• 期望频数 (吸烟, 肺部健康) $E_{11}$：

(如果吸烟与肺部健康无关，我们期望在250人中看到62.4个吸烟且肺部健康的人。)

• 期望频数 (吸烟, 肺部不健康) $E_{12}$：

• 期望频数 (不吸烟, 肺部健康) $E_{21}$：

• 期望频数 (不吸烟, 肺部不健康) $E_{22}$：

核对：计算完成后，期望频数表的行总计、列总计和总计应与观测频数表完全相同。

• $E_{11} + E_{12} = 62.4 + 57.6 = 120$ (与 $R_1$ 相同)
• $E_{21} + E_{22} = 67.6 + 62.4 = 130$ (与 $R_2$ 相同)
• $E_{11} + E_{21} = 62.4 + 67.6 = 130$ (与 $C_1$ 相同)
• $E_{12} + E_{22} = 57.6 + 62.4 = 120$ (与 $C_2$ 相同)
• 总计 = $120+130 = 250$ (与 $N$ 相同)

在卡方拟合优度检验中计算期望频数

卡方拟合优度检验 (Chi-squared Goodness-of-Fit Test) 用于比较一个类别变量的观测频数分布是否与某种理论或预期的概率分布相符。

1. 理论基础与公式

在这种检验中，零假设 ($H_0$) 会明确给出每个类别的期望概率或比例。假设一个变量有 $k$ 个类别，其期望概率分别为 $p_1, p_2, \ldots , p_k$，且 $\sum_{i=1}^{k} p_i = 1$。

如果总观测次数为 $N$，那么第 $i$ 个类别的期望频数 $E_i$ 的计算公式为：

其中：

• $E_i$ 是第 $i$ 个类别的期望频数。
• $N$ 是总观测次数。
• $p_i$ 是根据零假设，第 $i$ 个类别期望出现的概率。

2. 计算示例

假设我们想检验一个六面骰子是否公平。公平的骰子意味着每个点数（1, 2, 3, 4, 5, 6）出现的概率相等，即 $p_i = 1/6$。我们将骰子投掷了 180 次 ($N=180$)，得到如下观测频数：

| 点数 | 观测频数 ($O_i$) | | :------- | :--------------: | | 1 | 25 | | 2 | 35 | | 3 | 28 | | 4 | 32 | | 5 | 29 | | 6 | 31 | | 总计 | N = 180 |

我们的零假设是“骰子是公平的”，即所有 $p_i = 1/6$。因此，每个点数的期望频数计算如下：

这意味着，对于一个公平的骰子，投掷180次后，我们理论上期望每个点数出现30次。

| 点数 | 观测频数 ($O_i$) | 期望概率 ($p_i$) | 期望频数 ($E_i$) | | :------- | :--------------: | :--------------: | :--------------: | | 1 | 25 | 1/6 | 30 | | 2 | 35 | 1/6 | 30 | | 3 | 28 | 1/6 | 30 | | 4 | 32 | 1/6 | 30 | | 5 | 29 | 1/6 | 30 | | 6 | 31 | 1/6 | 30 | | 总计 | 180 | 1 | 180 |

期望频数的意义与使用

计算出的期望频数 $E$ 将与观测频数 $O$ 一同代入卡方统计量 ($\chi^2$) 的计算公式：

这个统计量衡量了观测值与期望值的总体差异。如果期望频数与观测频数非常接近，$\chi^2$ 值会很小，表明数据与零假设相符。反之，如果差异很大，$\chi^2$ 值会很大，可能导致我们拒绝零假设，并得出变量之间存在关联或数据不符合理论分布的结论。

重要提示：卡方检验的有效性有一个重要前提，即期望频数不能过小。一个广泛接受的经验法则是，所有单元格的期望频数都应大于等于5。如果此条件不满足，可能需要合并类别或使用其他检验方法，如费雪精确检验 (Fisher's Exact Test)。