数据降维

数据降维 (Dimensionality Reduction)

数据降维是机器学习和统计学中的核心技术，指在尽可能保留原始数据关键信息的前提下，将数据从高维空间映射到低维空间的过程。当数据的特征（变量）数量 $p$ 很大时，会遭遇维数灾难：数据点在高维空间中变得稀疏，距离度量失去意义，模型计算复杂度爆炸式增长。数据降维正是应对这一挑战的系统性方法。降维技术在数据可视化、噪声过滤、特征提取、压缩存储和加速后续模型训练等方面发挥着不可替代的作用。

降维的两大途径

数据降维方法分为特征选择和特征提取两大类。特征选择从原始特征中挑选出一个子集，保留最具预测力的变量而丢弃其余；其优点是保留的维度具有原始物理含义、可解释性强。常用方法包括过滤法（基于相关系数、卡方检验、互信息等统计指标排序筛选）、包裹法（递归特征消除，以模型性能为标准迭代选择）和嵌入法（LASSO回归中L1正则化自动将不重要特征的系数压缩为零）。

特征提取则通过数学变换将原始特征投影到新的低维空间，生成全新的、不具原始含义的合成特征。这类方法能够捕捉特征之间的非线性关系，信息保留能力通常优于特征选择。以下重点介绍特征提取的核心方法。

主成分分析 (PCA)

主成分分析（PCA）是最经典、应用最广的线性降维方法。其思想是寻找一组相互正交的新坐标轴（称为主成分），使得数据在这些轴上的投影方差最大化——第一主成分方向为数据方差最大的方向，第二主成分在与之正交的约束下方差最大，依次类推。

数学上，给定中心化后 $n \times p$ 数据矩阵 $\mathbf{X}$，PCA对协方差矩阵 $\frac{1}{n-1}\mathbf{X}^T\mathbf{X}$ 进行特征分解：选取前 $k$ 个最大特征值对应的特征向量组成投影矩阵 $\mathbf{W}_{p \times k}$，降维结果为 $\mathbf{Z} = \mathbf{X}\mathbf{W}$。实践中常通过奇异值分解（SVD）直接实现以避免计算协方差矩阵。降维后每个主成分的解释方差比例为 $\lambda_i / \sum_{j=1}^{p} \lambda_j$，可据此用碎石图或累计解释方差比（如≥95\%）来确定保留维度数 $k$。

PCA假设数据方差最大的方向恰好是信息最丰富的方向，但这一假设在高噪声场景下可能不成立。此外PCA对离群值敏感，且只能捕捉线性结构。

线性判别分析 (LDA)

线性判别分析（LDA）是有监督降维方法，与PCA的无监督特性形成互补。LDA的核心目标不是方差最大化，而是类别可分性最大化：寻找投影方向使得不同类别的均值之间距离最大化（类间散布最大化），同时同类样本的内部散布最小化。LDA的数学形式涉及求解广义特征值问题 $\mathbf{S}_B \mathbf{w} = \lambda \mathbf{S}_W \mathbf{w}$，其中 $\mathbf{S}_B$ 和 $\mathbf{S}_W$ 分别为类间散布矩阵和类内散布矩阵。LDA最多将数据降至 $c-1$ 维（$c$ 为类别数），这既是特点也是局限。

非线性降维方法

当数据分布在非线性流形上时，PCA等线性方法失效。核PCA（Kernel PCA）通过核技巧将数据隐式映射到高维再生核Hilbert空间再执行PCA，相当于在原始空间进行非线性降维。t-SNE和UMAP是当前最流行的可视化降维方法：t-SNE将高维欧氏距离转换为条件概率，最小化高维与低维概率分布的KL散度，擅长保留局部邻域结构，被广泛用于单细胞转录组学和深度学习特征可视化；UMAP基于Riemann几何和拓扑学，速度远快于t-SNE且更好保留了数据的全局结构。自编码器（Autoencoder）利用神经网络进行非线性降维，编码器将输入压缩为低维瓶颈层，解码器从瓶颈重构输入，训练目标为最小化重构误差。变分自编码器（VAE）进一步为瓶颈层引入概率结构，使降维空间具有连续性和可采样性。

降维效果评估与应用

评估降维质量需从多个维度考量：重构误差衡量降维后再逆变换恢复原始数据的信息损失；下游任务性能（如分类准确率、聚类纯度）检验降维后特征是否保留了判别性信息；可视化美感判断嵌入空间的分离度和连续性。在实际应用中，降维广泛用于探索性数据分析——将高维数据可视化到2D/3D散点图以发现聚类结构和异常点；用于高维回归的正则化预处理——以PCA回归（主成分回归）替代OLS解决多重共线性；用于推荐系统的矩阵分解——SVD的隐语义模型将用户-物品评分矩阵分解为低秩用户矩阵和物品矩阵；还用于金融风险因子建模、基因组学中的群体结构校正、图像和视频压缩等领域。选择降维方法时需权衡可解释性、计算复杂度、保留信息量三者之间的关系：PCA和LDA可解释性强但仅限线性结构，t-SNE和UMAP可视化效果卓越但缺乏显式映射函数、不适合作为预处理管道的一部分。