KNOWECON WIKI

ARTICLE

类别变量

类别变量（Categorical Variable）是统计学与计量经济学中将观测对象划分到有限个互斥类别或组别的变量类型。与连续变量不同，类别变量的取值代表定性属性而非数值大小，其数学处理依赖于编码方式（如虚拟变量）和对应的概率模型。类别变量是回归分析、分类算法和实验设计中最基本的数据类型之一，其正确处理直接关系到模型设定的准确性和解释的有效性。 1. 定义

浏览 0 更新 2025-11-09

类别变量（Categorical Variable）是统计学与计量经济学中将观测对象划分到有限个互斥类别或组别的变量类型。与连续变量不同，类别变量的取值代表定性属性而非数值大小，其数学处理依赖于编码方式（如虚拟变量）和对应的概率模型。类别变量是回归分析、分类算法和实验设计中最基本的数据类型之一，其正确处理直接关系到模型设定的准确性和解释的有效性。

1. 定义与分类

类别变量的本质特征是取值为有限离散集，且取值之间不存在固有的数值顺序或距离度量。根据是否具有内在顺序，类别变量进一步细分为两种基本类型：

  • 名义变量（Nominal Variable）：类别之间无自然顺序，如性别（男/女）、职业（教师/医生/工程师）、血型（A/B/AB/O）等。名义变量的唯一数学结构是对称性——任何类别标签的置换不改变信息内容。
  • 有序变量（Ordinal Variable）：类别之间存在明确的高低或先后顺序，但相邻类别之间的差距未必相等，如教育程度（小学/中学/大学/研究生）、满意度评分（非常不满意/不满意/一般/满意/非常满意）等。有序变量保留了顺序信息，但不具备区间变量的等距性质。

类别变量还可依据类别数量分为二元变量（Binary Variable，仅两个类别）和多项变量（Polytomous Variable，三个及以上类别）。

2. 类别变量的编码方法

将类别变量引入回归模型或机器学习算法需要将其转换为数值形式。编码方式的选择直接影响模型参数的估计和解释。

2.1 虚拟变量编码

对于有 k k 个类别的名义变量，标准做法是创建 k−1 k-1 个虚拟变量（Dummy Variables），每个虚拟变量指示观测是否属于某一特定类别，剩余一个类别作为基准组（Reference Group）。以教育程度的四分类为例（小学、中学、大学、研究生），设定三个虚拟变量：

D1={1若教育程度为中学0其他D_1 = \begin{cases} 1 & \text{若教育程度为中学} \\ 0 & \text{其他} \end{cases}
D2={1若教育程度为大学0其他D_2 = \begin{cases} 1 & \text{若教育程度为大学} \\ 0 & \text{其他} \end{cases}
D3={1若教育程度为研究生0其他D_3 = \begin{cases} 1 & \text{若教育程度为研究生} \\ 0 & \text{其他} \end{cases}

基准组（小学）的信息由所有虚拟变量均为零的状态隐含表示。若将所有 k k 个类别全部生成虚拟变量并同时纳入回归模型，则会产生完全多重共线性（Perfect Multicollinearity）——即所谓的"虚拟变量陷阱"，各虚拟变量之和恒等于截距项，导致设计矩阵不满秩，参数无法唯一估计。

2.2 效应编码与正交编码

效应编码（Effect Coding）将基准组的编码从全零改为 −1 -1 ，使得各组系数之和为零，便于分析各组相对于总体均值的偏离。正交编码（Orthogonal Coding）则适用于有序变量中具有特定对比结构（如线性趋势、二次趋势）的假设检验场景。在贝叶斯统计中，常采用独热编码（One-Hot Encoding）配合正则化先验来处理类别变量，以避免基准组选择的任意性对后验分布的影响。

2.3 有序变量的处理策略

对于有序变量，若假设相邻类别之间的效应变化为常数，可直接将类别编码为等距整数（如 1,2,…,k 1, 2, \dots, k ）代入回归模型。更稳健的方法包括使用多项式对比编码检验非线性趋势，或将有序变量作为连续潜变量的分段观测。

3. 包含类别变量的回归模型

3.1 方差分析模型

当解释变量全部为类别变量时，回归分析退化为方差分析（ANOVA）。以单因素方差分析为例，模型可写为：

Yij=μ+αi+εij,εij∼N(0,σ2)Y_{ij} = \mu + \alpha_i + \varepsilon_{ij}, \quad \varepsilon_{ij} \sim N(0, \sigma^2)

其中 μ \mu 为总体均值，αi \alpha_i 为第 i i 个处理组的效应，需施以约束条件（如 ∑αi=0 \sum \alpha_i = 0 或 α1=0 \alpha_1 = 0 ）以保证参数可识别。在虚拟变量编码框架下，μ \mu 对应基准组的均值，αi \alpha_i 则度量第 i i 组与基准组的均值差异。

3.2 协方差分析模型

协方差分析（ANCOVA）在方差分析的基础上加入连续型协变量，用于控制混杂因素后比较各组均值。模型形式为：

Yij=μ+αi+βXij+εijY_{ij} = \mu + \alpha_i + \beta X_{ij} + \varepsilon_{ij}

其中 β \beta 为协变量 X X 的回归系数。该模型的核心假设是各组回归线平行（即 β \beta 在各组间相同），若交互项 αi×Xij \alpha_i \times X_{ij} 显著，则意味着处理效应随协变量水平变化，此时需引入交互项来刻画异质性处理效应。

3.3 多项类别变量的响应模型

当因变量本身为类别变量时，需采用广义线性模型（GLM）框架。二元因变量使用Logit或Probit模型；多项无序因变量使用多项Logit模型（Multinomial Logit），其设定为：

P(Yi=j)=exp⁡(Xi′βj)∑m=1Jexp⁡(Xi′βm),j=1,…,JP(Y_i = j) = \frac{\exp(X_i'\beta_j)}{\sum_{m=1}^J \exp(X_i'\beta_m)}, \quad j = 1, \dots, J

多项有序因变量则使用比例优势模型（Proportional Odds Model），通过将有序响应的累积概率与线性预测项链接，在保持顺序信息的同时估计各解释变量的效应。

4. 类别变量的交互作用

类别变量之间的交互作用可理解为分组回归系数异质性。以两个二元变量 A A 和 B B 为例，含交互项的回归模型为：

Y=β0+β1A+β2B+β3(A×B)+εY = \beta_0 + \beta_1 A + \beta_2 B + \beta_3 (A \times B) + \varepsilon

系数 β3 \beta_3 度量变量 A A 对 Y Y 的效应在 B B 的不同水平上的差异。在交互作用存在的情形下，主效应 β1 \beta_1 和 β2 \beta_2 仅代表当交互变量取零时的条件效应（Conditional Effect），不再具有全局解释意义。对含交互项模型的解释需依赖边际效应或预测均值的差异比较。

在实验设计中，交互作用对应因子设计中的交互效应，可通过方差分析中的 F F 检验判断其统计显著性。高阶交互项在解释上较为困难，实践中通常限定于少数关键变量之间。

5. 类别变量的假设检验

5.1 联合显著性检验

对于包含 k−1 k-1 个虚拟变量的回归模型，检验类别变量的整体显著性即检验所有虚拟变量系数是否同时为零：

H0:β1=β2=⋯=βk−1=0H_0: \beta_1 = \beta_2 = \dots = \beta_{k-1} = 0

该假设可通过 F F 检验（线性回归）或似然比检验（Logistic回归）完成。拒绝原假设意味着至少有一个类别的均值与基准组存在显著差异。这种联合检验是方差分析表中"组间差异"显著性检验的回归表述。

5.2 多重比较问题

当类别数量较多时，对两两组别差异的逐一检验面临多重比较（Multiple Comparisons）问题——检验次数增加导致犯第一类错误的概率膨胀。常用的校正方法包括：Bonferroni校正（控制族系错误率）、Tukey HSD（适用于所有两两比较）、Dunnett校正（适用于各组与单一对照组的比较），以及基于错误发现率（FDR）的Benjamini-Hochberg程序。校正方法的选择应权衡检验功效与错误控制，而非机械地套用。

6. 类别变量在机器学习中的应用

在机器学习中，类别变量是特征工程的核心处理对象。树模型天然支持多类别分裂，无需编码转换；线性模型则需借助虚拟变量将类别变量数值化。对于高基数类别变量（如邮政编码、用户ID），独热编码会急剧增加特征维度，引发维度灾难。常用的降维方法包括：目标编码（以类别对应的目标变量均值替代标签）、计数编码、哈希编码，以及神经网络中的嵌入层。各种方法在信息损失、过拟合风险与计算效率之间各有权衡。

7. 局限与注意事项

第一，类别变量的分组方式存在主观性。连续变量离散化为类别变量会损失信息，且改变分界点可能翻转结论，这种敏感性称为"离散化偏误"（McClelland, 1997）。第二，编码方式选择影响模型解释——虚拟变量编码的参考组选择会改变各系数的含义，但不改变模型的整体拟合优度。第三，类别变量缺失值的处理较连续变量更为复杂，简单删除可能造成系统性偏差，插补方法需引入额外的分类模型。第四，在因果推断中，类别变量的分组不应与处理分配机制混淆——即使分组完美，若存在选择偏误，组间均值差异也不具有因果解释效力。

8. 总结

类别变量是统计学、计量经济学和机器学习中最基础的变量类型之一。从名义变量到有序变量，从二元变量到高基数多项变量，类别变量的结构差异决定了编码方法和建模策略的选择。虚拟变量编码与基准组设定构成了类别变量回归分析的基石，而方差分析、协方差分析和广义线性模型则分别在各自框架下处理类别解释变量或类别响应变量。交互作用的引入进一步丰富了类别变量模型对异质性效应的刻画能力。在实践中，对类别变量的正确处理——包括编码方式选择、假设检验的多重比较校正、高基数特征降维以及缺失值处理——直接决定了实证分析的可靠性。掌握类别变量的理论性质与操作要领，是进行规范量化研究不可或缺的基本功。