KNOWECON WIKI

ARTICLE

卷积

卷积 (Convolution) 卷积 (Convolution) 是一种二元数学运算，它通过将两个函数"滑动叠加"来生成第三个函数，用于描述一个函数对另一个函数的加权累积效应。卷积是信号处理、概率论、统计学、图像处理和深度学习等领域中最基础的工具之一。在概率论中，两个独立随机变量之和的概率密度函数恰为其各自密度的卷积；在时间序列分析中，移动平均和分布滞后模

浏览 2 更新 2025-10-26

卷积 (Convolution)

卷积 (Convolution) 是一种二元数学运算，它通过将两个函数"滑动叠加"来生成第三个函数，用于描述一个函数对另一个函数的加权累积效应。卷积是信号处理、概率论、统计学、图像处理和深度学习等领域中最基础的工具之一。在概率论中，两个独立随机变量之和的概率密度函数恰为其各自密度的卷积；在时间序列分析中，移动平均和分布滞后模型本质上是输入序列与权重序列的离散卷积；在计算机视觉中，卷积神经网络通过可学习的卷积核提取图像的层次化特征。

数学定义

连续卷积

设 ff 和 gg 是定义在 R\mathbb{R} 上的两个可积函数，其卷积记为 f∗gf * g，定义为：

(f∗g)(t)=∫−∞∞f(τ) g(t−τ) dτ(f * g)(t) = \int_{-\infty}^{\infty} f(\tau) \, g(t - \tau) \, d\tau

其中 τ\tau 是积分哑变量，tt 是卷积输出所依赖的自变量。几何上，该操作包含三步：将 g(τ)g(\tau) 翻转为 g(−τ)g(-\tau)、平移得到 g(t−τ)g(t - \tau)、然后与 f(τ)f(\tau) 逐点相乘并积分。这一"翻转-平移-积分"的过程是理解卷积物理含义的关键。

离散卷积

对于两个序列 x[n]x[n] 和 h[n]h[n]（n∈Zn \in \mathbb{Z}），离散卷积定义为：

(x∗h)[n]=∑k=−∞∞x[k] h[n−k](x * h)[n] = \sum_{k=-\infty}^{\infty} x[k] \, h[n - k]

在有限支撑集上（如长度为 NN 的序列与长度为 MM 的卷积核），卷积输出长度为 N+M−1N + M - 1。在信号处理中，x[n]x[n] 通常表示输入信号，h[n]h[n] 表示系统的脉冲响应函数，卷积输出为系统的零状态响应。

二维卷积

对于图像处理中常用的二维离散卷积，输入为矩阵 II（如图像像素），卷积核为 KK：

(I∗K)(i,j)=∑m∑nI(i−m,j−n) K(m,n)(I * K)(i, j) = \sum_{m} \sum_{n} I(i - m, j - n) \, K(m, n)

等价形式（更常见的实现方式，省略翻转，称为互相关）：

(I∗K)(i,j)=∑m∑nI(i+m,j+n) K(m,n)(I * K)(i, j) = \sum_{m} \sum_{n} I(i + m, j + n) \, K(m, n)

其中卷积核 KK 在图像上滑动，在每个位置计算逐元素乘积之和，生成特征图（Feature Map）。

基本性质

卷积运算具有以下代数性质，使其在理论和计算中极为便利：

  1. 交换律：f∗g=g∗ff * g = g * f。这一性质意味着在概率论中，独立随机变量之和的分布与加和顺序无关。
  2. 结合律：f∗(g∗h)=(f∗g)∗hf * (g * h) = (f * g) * h。这保证了多层卷积可以合并为单层卷积，在网络加速和级联系统分析中具有重要价值。
  3. 分配律：f∗(g+h)=f∗g+f∗hf * (g + h) = f * g + f * h。卷积是线性算子，这也是线性时不变系统理论的基础。
  4. 与脉冲函数的卷积：f∗δ=ff * \delta = f，其中 δ\delta 是狄拉克δ函数。脉冲函数是卷积运算的单位元。
  5. 微分性质：(f∗g)′=f′∗g=f∗g′(f * g)' = f' * g = f * g'。卷积的导数等于其中一个函数的导数与另一个函数的卷积，该性质常见于分布函数推导。
  6. 卷积定理：F[f∗g]=F[f]⋅F[g]\mathcal{F}[f * g] = \mathcal{F}[f] \cdot \mathcal{F}[g]，其中 F\mathcal{F} 表示傅里叶变换。时域（或空域）的卷积等价于频域的逐点乘积。这一性质是快速卷积算法（通过FFT实现 O(Nlog⁡N)O(N \log N) 复杂度）以及信号滤波分析的理论基石。

概率论中的应用

在概率论中，卷积是最重要的运算之一。设 XX 和 YY 为两个独立连续随机变量，其概率密度函数分别为 fXf_X 和 fYf_Y，则和 Z=X+YZ = X + Y 的密度函数为：

fZ(z)=(fX∗fY)(z)=∫−∞∞fX(x) fY(z−x) dxf_Z(z) = (f_X * f_Y)(z) = \int_{-\infty}^{\infty} f_X(x) \, f_Y(z - x) \, dx

离散情形类似：若 XX 和 YY 独立且取整数值，概率质量函数分别为 pXp_X 和 pYp_Y，则：

pZ(k)=∑ipX(i) pY(k−i)p_Z(k) = \sum_{i} p_X(i) \, p_Y(k - i)

这一结论直接推广到多个独立随机变量的和：nn 个独立同分布随机变量之和的分布是其共同密度的 nn 重卷积。例如，中心极限定理的经典证明即基于特征函数（特征函数将卷积转为乘积）在原点附近的泰勒展开。Gamma分布的可加性（独立 Gamma 变量之和仍为 Gamma）、正态分布的可加性（独立正态之和为正态），均可通过卷积或特征函数得到优雅证明。

信号处理与时间序列

在线性时不变系统（LTI 系统）理论中，系统输出 y(t)y(t) 等于输入 x(t)x(t) 与系统脉冲响应 h(t)h(t) 的卷积：

y(t)=(x∗h)(t)=∫−∞∞x(τ) h(t−τ) dτy(t) = (x * h)(t) = \int_{-\infty}^{\infty} x(\tau) \, h(t - \tau) \, d\tau

在计量经济学和时间序列分析中，分布滞后模型（Distributed Lag Model）正是离散卷积的直接应用：

Yt=α+∑s=0qβsXt−s+εtY_t = \alpha + \sum_{s=0}^{q} \beta_s X_{t-s} + \varepsilon_t

这里权重序列 β0,β1,…,βq\beta_0, \beta_1, \ldots, \beta_q 相当于一个有限长卷积核，作用于输入序列 XtX_t 上以产生对 YtY_t 的累积效应。阿尔蒙多项式分布滞后（Almon Lag）和Koyck滞后则是通过参数化约束来缩减卷积核的自由度。此外，ARMA 模型中的移动平均部分 Yt=εt+θ1εt−1+⋯+θqεt−qY_t = \varepsilon_t + \theta_1 \varepsilon_{t-1} + \cdots + \theta_q \varepsilon_{t-q} 也可理解为白噪声序列 εt\varepsilon_t 与有限脉冲响应 [1,θ1,…,θq][1, \theta_1, \ldots, \theta_q] 的离散卷积。

深度学习与图像处理

卷积神经网络（CNN）将卷积从固定运算提升为可学习的特征提取机制。在 CNN 中，卷积核的参数通过反向传播和梯度下降学习得到。与全连接网络相比，卷积层利用了两个关键先验：

  1. 局部连接（Sparse Connectivity）：每个输出神经元仅与输入的一个局部区域（感受野）相连，大幅减少参数数量。
  2. 参数共享（Parameter Sharing）：同一个卷积核在整个输入空间上滑动使用，使网络具有平移等变性。

典型架构中，多个卷积核并行工作，每个核学习检测一种特定的局部模式（如边缘、纹理、角点）。通过堆叠卷积层、池化层和非线性激活，深层 CNN 能够在高层学习语义级别的特征表示。该思想源于Hubel-Wiesel对视觉皮层感受野的神经生物学研究，由 Fukushima 的 Neocognitron 初创，经 LeNet、AlexNet 至 ResNet 和 Transformer 的变体，已成为计算机视觉的主流范式。

在传统图像处理中，卷积实现滤波操作：均值滤波（模糊）、高斯滤波（去噪）、Sobel 和 Laplacian 算子（边缘检测）均为特定卷积核的手工设计。这些固定卷积核体现了"先验知识编码为线性移不变算子"的设计哲学。

计算考虑与总结

直接计算离散卷积的复杂度为 O(NM)O(NM)（NN 为信号长度，MM 为核长度）。对于长序列，通常利用卷积定理和快速傅里叶变换（FFT）将计算复杂度降至 O(Nlog⁡N)O(N \log N)。在 CNN 推理中，现代加速器（GPU/TPU）则通过指令级并行和矩阵乘法映射（如 im2col 将卷积展开为矩阵乘法）实现高效计算。

卷积的精髓在于它提供了一种统一的语言，连通了概率分布的合成、线性系统的响应、时间序列的滞后结构以及视觉特征的逐层抽象。理解卷积本质上是理解"一个函数如何以滑动加权的方式修改另一个函数"，这一洞察跨越多个学科，构成现代数据分析和信号处理的基石。