距离度量

距离度量（Distance Metric）是衡量两个样本或数据点之间相似性或差异程度的数学函数。在机器学习、数据挖掘、统计学和信号处理等领域，距离度量是许多算法的基础，如k近邻（k-NN）、k均值聚类、层次聚类和降维方法。选择合适的距离度量对模型性能有显著影响，不同度量方式可能导致截然不同的分析结果，因此理解各类距离度量的数学性质和应用场景至关重要。

欧氏距离（Euclidean Distance） 是最直观且最常用的距离度量。在n维空间中，两点之间的欧氏距离定义为各坐标差平方和的平方根，即$d(x,y)=\sqrt{\sum_{i=1}^{n}(x_i-y_i)^2}$。它对应几何空间中两点间的直线距离，适用于连续数值型特征且各维度尺度相近的场景。欧氏距离的优点在于计算简单、直观易懂且满足对称性和三角不等式，因此是度量空间中最标准的距离定义之一。其缺点也很明显：当特征量纲不同时，未经归一化的大数值特征会主导距离计算，导致小数值特征的信息被忽略；同时对异常值非常敏感，单个离群点可能显著扭曲距离结果。在实际应用中，使用欧氏距离前通常需进行标准化或归一化处理，使各维度的贡献相对均衡。欧氏距离在基于距离的聚类算法（如k均值）和信息检索中有着广泛的应用，尤其在低维且特征分布均匀的数据集上表现良好。

曼哈顿距离（Manhattan Distance） 又称城市街区距离或L1距离，定义为各坐标差绝对值之和，即$d(x,y)=\sum_{i=1}^{n}|x_i-y_i|$。其名称源于曼哈顿网格状街道中两点间的实际行走路径，形象地反映了沿正交方向移动的总距离。在高维空间中，曼哈顿距离比欧氏距离更稳定，因为对异常值的影响较小。它适用于离散特征或特征稀疏的场景，如文本分类中的词袋模型和基因表达数据分析。曼哈顿距离的计算复杂度低于欧氏距离（无需平方运算），在处理高维数据时具有计算优势。在正则化回归中，L1范数对应的曼哈顿距离能够产生稀疏解，从而进行特征选择，这是拉索回归（Lasso）的核心思想之一。

闵可夫斯基距离（Minkowski Distance） 是欧氏距离和曼哈顿距离的泛化形式，定义为$d(x,y)=(\sum_{i=1}^{n}|x_i-y_i|^p)^{1/p}$。当参数p=1时退化为曼哈顿距离，p=2时退化为欧氏距离，p→∞时退化为切比雪夫距离。通过调整参数p，可以灵活控制距离的度量方式，适应不同数据分布特征。当p<1时，闵可夫斯基距离不再满足三角不等式，因此不再是严格意义上的度量，但仍可作为非度量距离使用。参数p的选择通常依赖领域知识和交叉验证结果，较小的p值适合噪声较多的数据，较大的p值更强调较大差异的维度。

切比雪夫距离（Chebyshev Distance） 定义为各坐标差绝对值中的最大值，即$d(x,y)=\max_i|x_i-y_i|$。在国际象棋中，国王从一个格子移动到另一个格子所需的最少步数即为切比雪夫距离。该度量关注最显著的特征差异，适用于检测离群点或强调最不匹配维度的场景。在仓库路径规划、物流调度和图像处理中也有应用，特别是在需要优先关注最大偏差的决策场景中。

余弦相似度（Cosine Similarity） 衡量两个向量在方向上的相似程度，定义为向量夹角的余弦值：$\cos(x,y)=\frac{x\cdot y}{\|x\|\|y\|}$。余弦距离则定义为1减去余弦相似度。与前述度量不同，余弦相似度关注方向而非长度，因此对向量的绝对数值不敏感。这使得它在文本向量（如TF-IDF表示）、用户偏好分析和推荐系统中应用广泛。值得注意的是，余弦相似度的取值范围为[-1,1]，值越接近1表示方向越一致，值越接近-1表示方向相反。在自然语言处理中，词嵌入的相似度比较通常采用余弦相似度来衡量语义相关性。

马氏距离（Mahalanobis Distance） 是考虑数据协方差结构的距离度量，定义为$d(x,y)=\sqrt{(x-y)^T\Sigma^{-1}(x-y)}$，其中$\Sigma$是数据集的协方差矩阵。马氏距离能消除特征间相关性的影响，并对各维度进行尺度归一化，因此在处理具有相关性的多维数据时具有独特优势。它适用于异常检测、多变量分类和图像识别等场景。马氏距离的一个关键优势在于它不受特征量纲的影响，且能自动处理特征间的冗余信息，避免多重共线性带来的干扰。当协方差矩阵为单位矩阵时，马氏距离退化为欧氏距离。

杰卡德距离（Jaccard Distance） 用于衡量两个集合的差异程度，定义为1减去杰卡德相似系数。杰卡德相似系数是两个集合交集大小与并集大小的比值，即$J(A,B)=\frac{|A\cap B|}{|A\cup B|}$。该度量适用于二元属性数据，如用户是否购买某商品、文档中是否出现某词汇等场景。在推荐系统中，杰卡德相似度常用于衡量用户之间的偏好重叠程度。与余弦相似度相比，杰卡德相似度更关注存在性而非频率，因此适用于稀疏二元数据。

汉明距离（Hamming Distance） 衡量两个等长字符串在对应位置上不同字符的个数。对于二进制向量，汉明距离即为对应位上取值不同的位置数量。它在编码理论、信息论和基因序列分析中有着重要应用，常用于检测和纠错编码的设计。在通信系统中，汉明距离决定了编码的检错和纠错能力——最小汉明距离越大，编码的纠错能力越强。在密码学中，汉明距离也用于衡量密文之间的差异程度。

选择距离度量时需综合考虑以下因素：数据类型（连续、离散、二元、文本）、特征尺度是否一致、是否需要考虑特征相关性、对异常值的鲁棒性要求、计算效率限制以及领域知识的指导。实践中，建议先对数据进行标准化或归一化处理，然后尝试多种距离度量，通过交叉验证选择最优方案。距离度量的选择直接影响聚类效果、分类准确率和检索质量，是机器学习工作流中的关键环节，值得研究者和工程师给予足够重视。正确理解每种度量的数学含义和适用边界，有助于在具体问题中做出最优选择，从而提升模型的整体性能。