循环神经网络

循环神经网络（Recurrent Neural Network，简称RNN）是一类专门用于处理序列数据的人工神经网络。与传统的前馈神经网络不同，RNN通过引入循环连接，使网络能够在时间步之间传递信息，从而具备"记忆"能力。这一特性使RNN特别适合处理文本、语音、时间序列等具有先后依赖关系的数据。RNN的灵感来源于人类对序列信息的处理方式——我们理解一句话时并非一次性接收全部词汇，而是逐词阅读并不断更新对句子含义的理解。从数学上看，RNN通过在隐藏状态中维护一个压缩的上下文向量，将历史信息编码为固定维度的表示，供当前时间步的处理使用。

基本结构与工作原理

RNN的核心思想是在每个时间步接受当前输入和上一个时间步的隐藏状态，通过激活函数（通常为tanh或ReLU）计算出新的隐藏状态，并产生当前时间步的输出。隐藏状态在时间维度上循环传递，形成一条"记忆链"。这种结构使得网络理论上可以捕捉任意长度的序列依赖关系。共享参数的机制也是RNN的一大特色——所有时间步使用相同的权重矩阵U（输入到隐藏层）、W（隐藏层到隐藏层）和V（隐藏层到输出层），大幅减少了参数量，使模型能够泛化到不同长度的序列上。

训练方法与核心挑战

RNN的训练采用随时间反向传播算法（Backpropagation Through Time, BPTT）。该算法将RNN沿时间维度展开为一个深层的计算图，然后应用标准的反向传播计算梯度。然而，当序列较长时，BPTT容易遭遇梯度消失或梯度爆炸问题：梯度在反向传播过程中反复乘以较小的权重矩阵，导致远距离时间步的梯度趋近于零（梯度消失），网络因此无法学习长距离依赖；若权重矩阵的特征值大于1，梯度则可能指数级增长（梯度爆炸），导致训练不稳定。梯度爆炸通常可通过梯度裁剪（Gradient Clipping）缓解——将超出阈值的梯度缩放到安全范围内。但梯度消失问题则需要对网络架构进行更根本的改进。

重要变体：LSTM与GRU

为解决梯度消失问题，Hochreiter和Schmidhuber于1997年提出了长短期记忆网络（Long Short-Term Memory, LSTM）。LSTM引入了遗忘门、输入门和输出门三种门控机制，以及细胞状态这一独立的记忆通道。遗忘门通过sigmoid函数决定丢弃哪些旧信息，输入门决定保留哪些新信息并将其加入细胞状态，输出门则控制从细胞状态中输出多少信息到隐藏状态。这种精妙的设计使LSTM能够有选择地记忆或遗忘信息，在机器翻译、语音识别等需要长距离依赖的任务中表现优异。门控循环单元（GRU）是LSTM的简化版本，由Cho等人于2014年提出。GRU将遗忘门和输入门合并为更新门，并引入重置门来控制历史信息的贡献。GRU参数更少、计算效率更高，在许多任务上性能与LSTM相当，成为实践中常用的替代方案。

应用领域

RNN及其变体广泛应用于自然语言处理领域，包括语言建模、机器翻译、情感分析、命名实体识别、文本生成等任务。在语音识别中，RNN将声学特征序列映射为音素或文字序列；在时间序列预测中，RNN可对股票价格、天气变化、电力负荷等数据进行建模和分析。此外，RNN也被用于图像描述生成——结合CNN提取的图像特征生成自然语言描述——以及视频分析、音乐生成、手写识别等跨模态任务。在工业界，Google的语音搜索、Apple的Siri、机器翻译系统等都曾大量采用RNN架构。

局限与演进

尽管RNN在序列建模领域取得了巨大成功，但它仍存在固有局限：循环结构使训练难以并行化，导致计算效率较低；梯度消失问题在超长序列上依然棘手。近年来，基于注意力机制的Transformer架构逐渐取代RNN成为自然语言处理的主流模型。Transformer完全摒弃循环结构，采用自注意力机制捕捉序列中任意位置的关系，并支持大规模并行计算，在大规模语言模型中表现尤为突出。尽管如此，RNN在计算资源受限的场景、低延迟任务以及某些时间序列建模问题中仍具独特优势，其研究价值和应用空间不可忽视。一些新兴研究方向如轻量级RNN变体和结构化状态空间模型（如Mamba）也为这一领域注入了新的活力。总体而言，循环神经网络作为序列建模的奠基性方法，其思想深刻影响了后续诸多模型的设计，在深度学习发展史上占据着不可替代的地位。