多项式特征

%%

id: 4856 word: "多项式特征" created\_model: "stub" verified: true verified\_at: "2025-10-29T21:42:48" created\_by\_id: 1 view\_counts: 0 inserted\_at: "2025-10-29T21:42:48" updated\_at: "2025-10-29T21:42:48" \%\%

多项式特征（Polynomial Features）是机器学习和统计学中一种常用的特征工程方法，通过对原始特征进行幂次变换和交叉组合，生成新的特征，从而帮助线性模型捕获数据中的非线性关系。在实际建模过程中，很多变量之间的关系并非简单的线性关系，而是呈现出曲线或交互效应，多项式特征正是应对这一问题的有效手段。

基本概念

对于一个单特征变量 x，其 d 次多项式特征包括：x, x², x³, …, xᵈ。当存在多个特征时，多项式特征还会自动生成各特征之间的交互项（interaction terms）。例如，对于两个特征 x₁ 和 x₂，二次多项式特征将包含：x₁, x₂, x₁², x₂², x₁·x₂。其中 x₁·x₂ 即为交互项，用于捕捉特征之间的协同效应。

在数学表示上，假设原始特征向量为 (x₁, x₂, …, xₖ)，则 d 次多项式特征由所有满足 1 ≤ ∑ᵢ eᵢ ≤ d 的单项式 ∏ xᵢ^eᵢ 构成，其中 eᵢ 为非负整数。这种表示方式将原始特征空间映射到了更高维的非线性特征空间。

与线性模型的关系

多项式特征最经典的应用场景是多项式回归（Polynomial Regression）。其核心思想是：对原始数据生成多项式特征后，仍然使用线性回归（Linear Regression）进行拟合。由于模型在参数上仍然是线性的（即对每个多项式特征的系数进行线性组合），因此它可以沿用线性回归的优化算法和理论基础，但决策边界或拟合曲线却呈现出非线性形态。

例如，要拟合一个抛物线形态的数据，只需添加 x² 特征，然后训练线性回归模型 y = β₀ + β₁x + β₂x²，即可得到二次拟合曲线。这样做既保留了线性模型计算高效、可解释性强的优点，又扩展了其表达能力。

过拟合风险与正则化

使用多项式特征时需要警惕过拟合（Overfitting）问题。随着多项式次数的增加，模型复杂度急剧上升，参数数量呈指数级增长。过高的次数可能导致模型在训练数据上表现极佳，但在测试数据上泛化能力严重下降。

控制过拟合的方法主要有两种：一是通过交叉验证选择合适的多项式次数；二是结合正则化技术（如岭回归 Ridge Regression 或套索回归 Lasso Regression），在损失函数中加入对参数大小的惩罚项，抑制高阶项系数的过度膨胀。

实现方式

在实际工程中，常用的机器学习库提供了便捷的多项式特征生成工具。Scikit-learn 中的 PolynomialFeatures 类可以自动生成指定次数的多项式特征，并可通过设置 interaction\_only=True 仅生成交互项而不包含各特征的幂次项，或通过 include\_bias 参数控制是否包含常数项（偏置）。

使用多项式特征时，通常还需要配合标准缩放（StandardScaler）对特征进行归一化处理。因为幂次变换后，不同特征的数值尺度差异巨大，高阶项的值会远大于低阶项，可能导致优化过程不稳定或梯度消失/爆炸。

优缺点分析

多项式特征的主要优点包括：实现简单、理论基础扎实、能够显式地建模非线性关系和交互效应、与线性模型结合后仍保持良好的可解释性。其缺点也很明显：特征维度随次数增长极快（组合爆炸），容易导致过拟合，且多项式基函数在边界处表现不稳定（即 Runge 现象），在数据稀疏区域可能出现剧烈震荡。

与其他方法的比较

与核方法（Kernel Methods）相比，多项式特征相当于显式地计算了多项式核（Polynomial Kernel）对应的特征映射。核方法通过核技巧（Kernel Trick）隐式地在高维空间中计算内积，避免了显式特征映射的计算开销，适合特征维度极高的情况。而多项式特征的显式映射方式在次数较低（如 2 或 3）时计算效率更高，且可直接获得各特征的系数，便于解释。

与样条回归（Spline Regression）相比，多项式回归的基函数是全局的（每个特征在整个定义域上都有贡献），而样条回归使用分段的低次多项式基函数，在灵活性和局部控制方面更具优势，能有效缓解 Runge 现象。

小结

多项式特征作为特征工程中的经典方法，是连接线性模型与非线性数据的桥梁。在实际应用中，通常建议从低次（如 2 次或 3 次）开始尝试，结合验证集评估效果，并配合正则化技术防止过拟合。对于更复杂的非线性关系，可以考虑决策树集成方法或深度神经网络作为替代方案。