KNOWECON WIKI

ARTICLE

逻辑回归模型

逻辑回归模型 (Logistic Regression Model) 逻辑回归模型（Logistic Regression Model），亦称为Logit模型，是一种用于二元分类（Binary Classification）问题的广义线性回归模型。与通常的线性回归不同，逻辑回归模型的因变量 Y 是一个二值变量（取值为0或1），模型的目标是估计在给定自变量 X

浏览 4 更新 2026-05-25

逻辑回归模型 (Logistic Regression Model)

逻辑回归模型（Logistic Regression Model），亦称为Logit模型，是一种用于二元分类（Binary Classification）问题的广义线性回归模型。与通常的线性回归不同，逻辑回归模型的因变量 Y Y 是一个二值变量（取值为0或1），模型的目标是估计在给定自变量 X \mathbf{X} 的条件下 Y=1 Y=1 发生的条件概率 P(Y=1∣X) P(Y=1|\mathbf{X}) 。该模型广泛应用于医学诊断、信用评分、市场研究以及社会科学等领域的分类预测与风险评估问题。

逻辑回归模型的核心思想在于：不直接对概率进行线性建模，而是对对数优势比（log-odds）建立线性关系，从而确保预测的概率始终落入 [0,1] [0,1] 区间之内。

模型设定与数学形式

逻辑回归模型属于广义线性模型（Generalized Linear Model, GLM）框架下的一个特例。在GLM的视角下，逻辑回归由三个核心要素构成：随机成分（因变量服从伯努利分布）、系统成分（线性预测器 \eta = eta_0 + \mathbf{X}^\top \boldsymbol{\beta} ）以及连接函数（Logit函数）。这一框架使得逻辑回归能够统一地纳入更广泛的统计建模体系之中。

设 Y∈{0,1} Y \in \{0,1\} 为二值因变量，X=(X1,X2,…,Xp)⊤ \mathbf{X} = (X_1, X_2, \ldots, X_p)^\top 为 p p 个自变量（可以包含连续变量和分类变量）。逻辑回归模型假设：

P(Y=1∣X)=exp⁡(β0+β1X1+⋯+βpXp)1+exp⁡(β0+β1X1+⋯+βpXp)=11+e−(β0+X⊤β)P(Y=1 | \mathbf{X}) = \frac{\exp(\beta_0 + \beta_1 X_1 + \cdots + \beta_p X_p)}{1 + \exp(\beta_0 + \beta_1 X_1 + \cdots + \beta_p X_p)} = \frac{1}{1 + e^{-(\beta_0 + \mathbf{X}^\top \boldsymbol{\beta})}}

其中 β=(β1,…,βp)⊤ \boldsymbol{\beta} = (\beta_1, \ldots, \beta_p)^\top 为回归系数向量，β0 \beta_0 为截距项。此式的等价形式为：

ln⁡(P(Y=1∣X)1−P(Y=1∣X))=β0+β1X1+⋯+βpXp\ln\left(\frac{P(Y=1|\mathbf{X})}{1-P(Y=1|\mathbf{X})}\right) = \beta_0 + \beta_1 X_1 + \cdots + \beta_p X_p

上式左侧称为Logit变换，其取值范为 (−∞,+∞) (-\infty, +\infty) ，因此可以通过线性预测器 β0+X⊤β \beta_0 + \mathbf{X}^\top \boldsymbol{\beta} 加以建模。模型使用的连接函数即为Logistic函数 g(t)=1/(1+e−t) g(t) = 1/(1+e^{-t}) ，它将实数映射到 (0,1) (0,1) 区间内，形成经典的S形曲线。

参数估计：最大似然法

逻辑回归模型通常采用最大似然估计（Maximum Likelihood Estimation, MLE）进行参数估计。对于 n n 个独立观测样本 {(yi,xi)}i=1n \{(y_i, \mathbf{x}_i)\}_{i=1}^n ，其似然函数为：

L(β)=∏i=1nP(Y=1∣xi)yi[1−P(Y=1∣xi)]1−yiL(\boldsymbol{\beta}) = \prod_{i=1}^n P(Y=1|\mathbf{x}_i)^{y_i} \left[1 - P(Y=1|\mathbf{x}_i)\right]^{1-y_i}

取对数后得到对数似然函数：

ℓ(β)=∑i=1n[yiln⁡Pi+(1−yi)ln⁡(1−Pi)]\ell(\boldsymbol{\beta}) = \sum_{i=1}^n \left[ y_i \ln P_i + (1-y_i) \ln(1-P_i) \right]

其中 Pi=P(Y=1∣xi) P_i = P(Y=1|\mathbf{x}_i) 。最大化 ℓ(β) \ell(\boldsymbol{\beta}) 等价于最小化交叉熵损失函数，这是逻辑回归在机器学习领域的一个重要视角。由于对数似然函数关于 β \boldsymbol{\beta} 是全局凹函数，因此其最大值存在且唯一，可通过牛顿-拉夫逊算法（Newton-Raphson）或迭代加权最小二乘法（Iteratively Reweighted Least Squares, IRLS）高效求解。IRLS算法在每一步将当前迭代点的对数似然进行二次近似，然后通过加权最小二乘更新参数估计值，直至收敛。该算法的渐进收敛速度是二次的，因此通常仅需少量迭代即可达到较高的精度。

从计算角度来看，逻辑回归的MLE估计量具有一致性（Consistency）和渐近正态性（Asymptotic Normality）等优良的大样本性质。具体而言，在大样本条件下：

n(β^−β)→dN(0,I(β)−1)\sqrt{n}(\hat{\boldsymbol{\beta}} - \boldsymbol{\beta}) \xrightarrow{d} \mathcal{N}(\mathbf{0}, \mathcal{I}(\boldsymbol{\beta})^{-1})

其中 I(β) \mathcal{I}(\boldsymbol{\beta}) 为Fisher信息矩阵。这一性质为逻辑回归系数的统计推断提供了理论基础。

系数的解释

逻辑回归系数的解释与线性回归有显著区别。βj \beta_j 表示在控制其他变量不变的条件下，Xj X_j 每增加一个单位所引起的对数优势比的变化量。对 βj \beta_j 取指数后得到优势比（Odds Ratio）：

ORj=eβj\text{OR}_j = e^{\beta_j}

其含义为：Xj X_j 每增加一个单位，事件发生优势变为原来的 eβj e^{\beta_j} 倍。当 eβj>1 e^{\beta_j} > 1 时，Xj X_j 具有正向效应；当 0<eβj<1 0 < e^{\beta_j} < 1 时，Xj X_j 具有负向效应。

由于优势比的乘积效应在概率层面是非线性的，研究者常常报告边际效应（Marginal Effect）。对于连续变量 Xj X_j ，其边际效应为：

∂P(Y=1∣X)∂Xj=P(Y=1∣X)×(1−P(Y=1∣X))×βj\frac{\partial P(Y=1|\mathbf{X})}{\partial X_j} = P(Y=1|\mathbf{X}) \times (1-P(Y=1|\mathbf{X})) \times \beta_j

可见边际效应的大小依赖于概率的当前水平：当概率接近0.5时边际效应最大，当概率接近0或1时边际效应趋近于零。实践中常用的报告方式包括均值处的边际效应（MEM）和平均边际效应（AME），其中AME通过对样本中所有观测值的边际效应取平均得到，更具代表性。

模型诊断与评估

逻辑回归模型的评估涉及多个维度。在拟合优度方面，常用的指标包括麦克法登伪R平方（McFadden's Pseudo R2 R^2 ）：

RMcF2=1−ln⁡Lfullln⁡LnullR^2_{\text{McF}} = 1 - \frac{\ln L_{\text{full}}}{\ln L_{\text{null}}}

其中 Lfull L_{\text{full}} 为完整模型的对数似然值，Lnull L_{\text{null}} 为仅含截距项的对数似然值。该指标取值在0到1之间，越大表明模型拟合越好。

在统计检验方面，似然比检验（Likelihood Ratio Test）用于检验一组系数的联合显著性；Wald检验则用于单个系数的显著性检验，其统计量在大样本下服从正态分布。

在分类性能方面，混淆矩阵提供了预测结果与实际结果的对比概览，由此可计算准确率、精确率（Precision）、召回率（Recall）和F1分数。ROC曲线及曲线下面积AUC则衡量模型在不同阈值下的判别能力，AUC值越接近1表明模型区分正负样本的能力越强。

此外， Hosmer-Lemeshow 检验是一种常用的校准度检验方法，通过将预测概率分组后比较各组内观测频数与期望频数的差异来评估模型整体的拟合程度。

模型假设与注意事项

与线性回归不同，逻辑回归不需要满足误差项的正态性假设和同方差性假设。其关键假设包括：

  1. 二元因变量：因变量必须为二值变量。
  2. 独立性：各观测之间相互独立。
  3. 线性性：自变量的线性组合与对数优势比之间存在线性关系。这一假设可通过引入自变量的平方项或交互项加以检验和扩展。
  4. 无完全分离：当自变量能够完美预测因变量的取值时（即完全分离现象），MLE估计将无法收敛，此时需采用Firth逻辑回归（Firth's Logistic Regression）或正则化方法加以处理。
  5. 无多重共线性：尽管逻辑回归对多重共线性不如线性回归敏感，但严重的多重共线性仍会导致系数估计的标准误膨胀，影响统计推断的可靠性。

在样本量方面，经验法则要求每个自变量至少对应10-20个稀有事件（即较少出现的结果类别），以保证MLE估计的稳定性。

与线性回归的对比及扩展

相比于线性概率模型（Linear Probability Model），逻辑回归模型具有三大优势：其一，预测概率始终限制在 (0,1) (0,1) 区间内，不会出现越界问题；其二，能够捕捉自变量对概率的非线性影响（S形关系）；其三，误差项的异方差性得到自然处理，参数估计具有更好的统计性质。

当因变量为多类别时，逻辑回归可扩展为多项Logit模型（Multinomial Logit Model）处理名义变量，或有序Logit模型（Ordered Logit Model）处理有序分类变量。当面临高维特征时，正则化逻辑回归（Regularized Logistic Regression）通过引入 L1 L_1 或 L2 L_2 惩罚项实现变量选择和防止过拟合，在自然语言处理和生物信息学等领域具有广泛应用。

此外，条件逻辑回归（Conditional Logistic Regression）适用于配对病例对照研究等匹配设计数据；混合效应逻辑回归（Mixed Effects Logistic Regression）则通过引入随机效应来处理层次结构数据或重复测量数据。这些扩展共同构成了逻辑回归模型家族的完整图谱，使其成为现代统计建模工具箱中最为灵活和实用的方法之一。