逻辑回归 (Logistic Regression)

逻辑回归是统计学和机器学习中一种广泛使用的分类方法，用于建模二分类（或多分类）因变量与一个或多个自变量之间的关系。尽管名称中含有"回归"二字，逻辑回归本质上是分类模型，其核心是使用逻辑函数（sigmoid 函数）将线性预测值映射到 $(0, 1)$ 区间，输出事件发生的概率。

对于二分类问题，设因变量 $Y \in \{0, 1\}$ ，逻辑回归模型假设：

P(Y = 1 \mid \mathbf{X} = \mathbf{x}) = \frac{1}{1 + e^{-(\beta_0 + \boldsymbol{\beta}^T \mathbf{x})}} = \sigma(\beta_0 + \boldsymbol{\beta}^T \mathbf{x})

其中 $\sigma(z) = 1/(1 + e^{-z})$ 为逻辑函数（Sigmoid 函数）， $\beta_0$ 为截距， $\boldsymbol{\beta}$ 为回归系数向量。

等价地，对数几率（log-odds）是自变量的线性函数：

\log\left(\frac{P(Y = 1 \mid \mathbf{X})}{1 - P(Y = 1 \mid \mathbf{X})}\right) = \beta_0 + \boldsymbol{\beta}^T \mathbf{x}

这一形式将逻辑回归纳入广义线性模型 (GLM) 框架，其连接函数为 logit 函数。

逻辑回归的参数通常通过极大似然估计 (MLE) 获得。对于 $n$ 个独立观测 $(\mathbf{x}_i, y_i)$ ，对数似然函数为：

\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[y_i \log \sigma(\beta_0 + \boldsymbol{\beta}^T \mathbf{x}_i) + (1-y_i) \log (1 - \sigma(\beta_0 + \boldsymbol{\beta}^T \mathbf{x}_i))\right]

由于该函数是凹函数，可通过牛顿-拉夫森法或梯度下降法迭代求解全局最优解。不像线性回归，逻辑回归的似然方程没有闭式解析解。

逻辑回归的系数 $\beta_j$ 解释为：在其他变量不变的情况下， $x_j$ 每增加一个单位，对数几率增加 $\beta_j$ 。等价地，几率比 (odds ratio) $e^{\beta_j}$ 表示 $x_j$ 每增加一个单位，事件发生几率的变化倍数。

逻辑回归常用的评估指标包括：

对于多分类问题，逻辑回归可以通过以下方式扩展：

在高维数据或不平衡样本中，可引入正则化项防止过拟合：L1 正则化（ Lasso）可产生稀疏解并实现变量选择；L2 正则化（岭回归）将系数向零收缩；弹性网 (Elastic Net) 结合两者优势。

特征	线性回归	逻辑回归
因变量类型	连续	二分类/多分类
输出范围	$(-\infty, \infty)$	$(0, 1)$
模型形式	$Y = \beta_0 + \boldsymbol{\beta}^T\mathbf{x} + \epsilon$	$P(Y=1) = \sigma(\beta_0 + \boldsymbol{\beta}^T\mathbf{x})$
参数估计	最小二乘法 (OLS)	极大似然估计 (MLE)

逻辑回归因其概率输出、可解释性强和计算高效等优点，在信用评分、医学诊断、市场营销和社会科学等领域有广泛应用。