ARTICLE
皮尔逊卡方检验
皮尔逊卡方检验 (Pearson's Chi-Squared Test) 皮尔逊卡方检验是统计学中最基础的假设检验方法之一,由卡尔·皮尔逊 (Karl Pearson) 于1900年提出。它用于判断观测频数与期望频数之间的偏离是否显著到足以拒绝某一特定假设。卡方检验广泛渗透至计量经济学、生物统计、社会科学和机器学习的特征选择中,是现代统计推断的基石。 卡方检
皮尔逊卡方检验 (Pearson's Chi-Squared Test)
皮尔逊卡方检验是统计学中最基础的假设检验方法之一,由卡尔·皮尔逊 (Karl Pearson) 于1900年提出。它用于判断观测频数与期望频数之间的偏离是否显著到足以拒绝某一特定假设。卡方检验广泛渗透至计量经济学、生物统计、社会科学和机器学习的特征选择中,是现代统计推断的基石。
卡方检验存在三种核心形式:(1) 拟合优度检验——检验样本是否来自某一已知分布;(2) 独立性检验——判断两个分类变量是否相关;(3) 同质性检验——检验多个总体的分布是否相同。三者数学形式统一,差异仅在原假设的设定与期望频数的计算方式上。
检验统计量
皮尔逊卡方统计量的基本形式为:
其中 为第 个类别的观测频数, 为在原假设下该类别应出现的期望频数, 为类别总数。在原假设成立且样本量充分大时, 渐近服从卡方分布 ,自由度 取决于具体检验类型。
直觉上,若原假设正确, 与 的差异应仅由随机抽样波动引起,统计量取值较小;若偏差系统性偏大,则统计量落入拒绝域,提示原假设可能不成立。
拟合优度检验 (Goodness-of-Fit)
拟合优度检验判断样本是否来自某一特定概率分布。设原假设 :总体服从分布 (如均匀分布、正态分布、泊松分布等)。将样本空间划分为 个互斥类别,计算在原假设下各类别的期望概率 ,则 ( 为样本总量)。自由度 ,其中 为从样本估计的分布参数个数。
例:抛硬币100次,正面55次、反面45次,检验硬币是否均匀。,,。查表得 ,不拒绝均匀假设。
若检验正态性且需从样本估计均值和方差,则 。要注意的是,对于连续分布,需先离散化为区间,分组方式会影响检验结果。
独立性检验 (Test of Independence)
独立性检验用于 列联表中判断两个分类变量是否独立。设行变量有 个水平,列变量有 个水平,对单元格 :
自由度 。原假设 :行变量与列变量独立;备择假设 :两者相关。
例:在经济调查中检验性别(男/女)与就业状态(就业/失业/非劳动力)是否独立。若卡方显著,则性别与就业状态之间存在统计显著的关联。
独立性检验在信用评分中常用于筛选与违约状态相关的特征变量,在市场研究中用于分析消费者人口特征与购买行为的关联。若变量均为有序分类,还可进一步使用Mantel-Haenszel检验或Cochran-Armitage趋势检验以提升检验效力。
同质性检验 (Test of Homogeneity)
同质性检验与独立性检验在计算上完全相同,但设计与解释有本质差异。独立性检验中,所有观测来自同一总体,按两个维度交叉分类;同质性检验则是从多个独立总体中各抽取一个样本,比较多个总体在某一分类变量上的分布是否相同。此时每一行(或列)的边际合计由研究设计固定,而非随机。
自由度和公式与独立性检验一致,同样为 ,统计量的计算方式也一致,但期望频数基于各总体的固定边际合计。
假设条件与注意事项
- 独立性:观测之间应相互独立,不适用于重复测量或配对设计的数据。
- 期望频数准则:每个单元格的期望频数 不宜过小。经典经验准则为:所有 ,且不超过 20\% 的单元格 。若违反,应合并相邻类别或使用Fisher精确检验。
- 大样本性质:卡方统计量仅在大样本下近似卡方分布。小样本时应优先采用精确方法。
- 效应量:大样本下即使实际偏离微小,卡方检验也可能显著。应结合Cramér's V、φ系数或优势比评估实际效应大小。
- 分类离散性:卡方检验仅适用于分类数据,连续变量应先离散化或转而使用Kolmogorov-Smirnov检验等非参数方法。
与其他检验的关系
- 与似然比检验:似然比检验统计量 同样渐近服从卡方分布,与皮尔逊卡方渐近等价,有限样本下结果可能略有差异。
- 与 Fisher 精确检验: 列联表中小样本或期望频数过低时,Fisher 精确检验提供精确的 值,不依赖大样本近似。
- 与 McNemar 检验:配对二分类数据(如前后测)不宜用卡方独立性检验,应使用McNemar检验以考虑配对结构。
- 与 t 检验/方差分析:当因变量为连续、自变量为分类时使用t检验或ANOVA;当两个变量均为分类时,卡方检验是自然选择。
- 与 Cochran-Mantel-Haenszel 检验:需控制第三分层变量效应时,CMH检验将多个 表的信息合并,常用于流行病学中的分层分析。
在经济金融中的应用
信用风险建模:检验借款人的分类特征(如教育水平、职业类型)与违约状态的独立性,筛选进入逻辑回归或决策树的候选变量。市场微观结构:检验买卖订单到达是否服从泊松过程(拟合优度),为高频交易模型提供设定检验。行为经济学:检验不同实验处理下被试的选择分布是否同质,验证前景理论等行为假设的跨人群稳定性。收入分布研究:检验样本收入数据是否符合帕累托分布或对数正态分布,为洛伦兹曲线和基尼系数推断提供基础。
作为统计推断的入门工具,皮尔逊卡方检验以其简洁的构造和广泛的适用性,持续在经验研究和数据驱动决策中发挥不可替代的作用。