StreamSparkAI

概览/核心摘要 (Executive Summary)

本篇内容总结了斯坦福大学CS224N课程（2025年春季）第三讲“反向传播与神经网络”的核心内容。课程首先回顾了神经网络的基本概念，强调其通过学习中间层表征来自组织和处理信息的能力，这是其超越传统机器学习方法优势的关键。接着，详细阐述了多种激活函数（如Sigmoid、Tanh、ReLU及其变体Swish、GeLU）的演进、特性及其在引入非线性以逼近复杂函数中的核心作用。课程的重点在于梯度下降学习和矩阵微积分，教授解释了多变量微积分的基本原则，引入雅可比矩阵和链式法则，并通过实例展示了如何计算神经网络中参数的梯度。核心内容围绕反向传播算法展开，该算法通过应用链式法则并高效存储中间结果，实现了对任意计算图的梯度计算。课程讨论了计算图的前向与反向传播过程，以及现代深度学习框架（如PyTorch）中自动微分的实现机制，即框架管理计算图，用户提供局部导数。最后，介绍了梯度检验作为验证反向传播正确性的数值方法，并强调了理解反向传播原理对于深入学习和解决复杂模型问题的重要性，即使在高度自动化的框架下也是如此。

课程回顾与作业安排

• 回顾与作业一
  • 教授首先提醒学生作业一（Assignment 1）应已完成，并强调其为入门内容，不宜消耗过多“迟交日”（late days）。
• 作业二：目标与内容
  • 作业二（Assignment 2）主要有三个目的：
    1. 数学计算：让学生通过数学推导理解神经网络的计算原理。
    2. 依存句法分析 (Dependency Parsing)：涉及语言结构和语言学知识。
    3. PyTorch入门：开始使用PyTorch，一个主流的深度学习软件框架。作业三中PyTorch的使用将有大量脚手架代码辅助。
• PyTorch入门辅导
  • 为帮助学生上手PyTorch，课程安排了PyTorch教程，时间为周五下午3:30，地点在Gates B01（原文为Gatesby zero one，推测为Gates B01），并会提供录像。
• 推荐阅读材料
  • 针对本讲内容，特别是矩阵微积分和线性代数，教授强烈建议学生阅读推荐材料，这些材料多为简短教程和综述。

神经网络的核心思想

• 中间表征的自组织学习
  • 神经网络的核心优势在于其能够自我组织中间层次的表征 (self organization of intermediate levels of representation)。
  • 网络中间层学习到的特征可以作为后续神经元的有效输入，从而辅助最终的计算任务。这一思想使得神经网络在多数情况下比其他机器学习方法更为强大。
• 从神经元到矩阵运算
  • 尽管人脑神经元连接看似随意，但神经网络通常采用规则的分层结构 (layers)。
  • 层与层之间的计算可以简化为矩阵运算：首先进行矩阵乘法 Wx (权重矩阵 W 乘以输入 x)，然后加上偏置向量 b，得到中间值 z。
  • 之后，将 z 通过一个非线性激活函数 f，得到下一层神经元的输出 a。即 a = f(Wx + b)。
  • 激活函数通常逐元素应用于向量。

激活函数 (非线性单元)

• 引入非线性的必要性
  • 神经网络的目标是学习复杂的函数（如文本到意义的映射，视觉场景理解），即成为优秀的函数逼近器 (function approximators)。
  • 若仅使用矩阵乘法（线性变换），多层网络等效于单层线性变换 (W₂ * (W₁x) = (W₂W₁)x)，无法增强模型的表征能力以拟合非线性函数。
  • 激活函数引入了非线性，使得多层网络能够学习和表示复杂函数。
  • [内容不完整] 教授提到，即使没有非线性，仅包含多层矩阵乘法的线性神经网络在学习理论上仍有研究价值，因其具有有趣的“学习特性”，尽管“表征能力”没有增加。
• 常用激活函数及其演变
  • 阈值函数 (Threshold)：早期神经元模型使用，激活值大于阈值则输出1，否则输出0。缺点是斜率为0，不利于梯度学习。
  • Sigmoid / Logistic 函数：输出在 (0,1) 之间，曾用于映射到概率。缺点是输出非负，可能导致数值偏大。
  • Tanh 函数 (双曲正切)：输出在 (-1,1) 之间。Tanh本质上是Sigmoid函数的缩放和平移 (tanh(x) = 2 * sigmoid(2x) - 1)。作业三中的循环神经网络会用到Tanh。计算指数函数相对较慢。
  • 硬Tanh (Hard Tanh)：一种简化的Tanh，中间部分斜率为1，两侧为平坦区域。
  • ReLU (Rectified Linear Unit)：f(x) = max(0, x)。负区为0，正区为 y=x。
    • 特性：
      • 当输入为负时，神经元“死亡”，梯度为0。
      • 当输入为正时，梯度为1，简化了梯度的反向传播。
      • 尽管单个神经元可能一半时间处于“死亡”状态，但整个网络层面仍有神经元激活，促进了某种形式的“特化”（specialization）。
      • 曾一度成为默认和标准的激活函数，因其学习效果显著。作业二中会使用。
  • 对ReLU的反思与改进：后续研究认为ReLU在负区完全“死亡”可能并非最优。
    • Leaky ReLU: 负区给予一个很小的固定斜率（如0.01），使其不会完全“死亡”。
    • Parametric ReLU (PReLU): 负区的斜率作为一个可学习的参数。
    • Swish 和 GeLU (Gaussian Error Linear Unit)：近期Transformer模型中常用的激活函数，形状类似ReLU，但在负区有平滑的曲线并带有一定斜率。
• 核心观点：激活函数的选择会影响网络的学习能力和效率，其发展趋势是在保持ReLU计算优势的同时，克服其“死亡神经元”等问题。

梯度下降与矩阵微积分

• 梯度下降学习 (Gradient-Based Learning)
  • 神经网络通过梯度下降 (Stochastic Gradient Descent, SGD) 进行学习，其核心是计算目标函数（损失函数）关于参数的梯度 (gradient)。
  • 梯度指明了函数最陡峭的下降方向，通过沿此方向更新参数来优化模型。
• 矩阵微积分基础
  • 基本原则：教授强调一个核心理念——“多变量微积分就像单变量微积分一样，只不过你用的是矩阵。” (Multivariable calculus is just like single variable calculus, except you're using matrices.)
  • 梯度 (Gradient)：对于有 n 个输入的函数 f(x)，其梯度 ∇f(x) 是一个包含 n 个偏导数的向量 [∂f/∂x₁, ∂f/∂x₂, ..., ∂f/∂xₙ]。
  • 雅可比矩阵 (Jacobian)：对于一个有 n 个输入和 m 个输出的函数，其梯度是一个 m x n 的雅可比矩阵，其中每个元素 Jᵢⱼ = ∂fᵢ/∂xⱼ 表示第 i 个输出相对于第 j 个输入的偏导数。
  • 链式法则 (Chain Rule)：用于计算复合函数的导数。在多变量情况下，表现为雅可比矩阵的乘积。例如，若 h = f(z) 且 z = g(x)，则 ∂h/∂x = (∂h/∂z) * (∂z/∂x)。
• 常见雅可比矩阵示例
  • 元素级激活函数 h = f(z) (其中 f 逐元素作用)：其雅可比矩阵 ∂h/∂z 是一个对角矩阵，对角线元素为 f'(zᵢ)。
  • 线性层 z = Wx + b：
    • ∂z/∂x = W (权重矩阵)
    • ∂z/∂b = I (单位矩阵)
  • 向量点积 s = uᵀh (其中 s 是标量)：∂s/∂h = uᵀ (或 u，取决于维度约定，此处为行向量)。
• 链式法则应用于神经网络计算 (以 s = uᵀf(Wx+b) 为例)
  • 目标是计算损失函数（或得分 s）关于各参数（W, b, u）和输入 x 的梯度。
  • 计算 ds/db：通过链式法则分解为 ds/db = (ds/dh) * (dh/dz) * (dz/db)。
    • ds/dh = uᵀ
    • dh/dz 是激活函数导数构成的对角矩阵 diag(f'(z))
    • dz/db = I
    • 结果为 uᵀ * diag(f'(z))，可以表示为 u 与 f'(z) 的元素级乘积 (Hadamard product) u ⊙ f'(z) [此处原文的 uᵀ 和 diag(f'(z)) 相乘后维度需仔细核对，但核心是链式法则应用]。
  • 计算 ds/dW：同样应用链式法则 ds/dW = (ds/dh) * (dh/dz) * (dz/dW)。
    • 前两项 (ds/dh) * (dh/dz) 与计算 ds/db 时相同，这部分被称为上游梯度 (upstream gradient) 或误差信号，通常用 δ 表示。
    • dz/dW 的计算结果为 δ 与输入 x 的外积形式，如 δxᵀ（具体形式取决于维度和定义）。
  • 共享上游梯度：计算不同参数的梯度时，可以复用共同的上游梯度部分，避免重复计算。
  • 梯度形状约定 (Shape Convention)：在工程实践中，计算得到的梯度通常会调整形状，使其与对应参数的形状（向量、矩阵）一致，方便后续的参数更新操作 (如 θ = θ - α∇J(θ))。这可能与严格的数学雅可比矩阵形式略有不同。

反向传播算法 (Backpropagation)

• 核心思想：反向传播算法本质上是：
  1. 应用链式法则来计算复杂函数的梯度。
  2. 存储中间结果，以避免重复计算相同的部分。
• 计算图 (Computation Graphs)
  • 神经网络的计算过程可以表示为一个有向无环图 (DAG)，其中节点代表操作（如矩阵乘法、激活函数），边代表数据的流动。
  • 前向传播 (Forward Propagation)：按照图的顺序从输入到输出计算函数值。
    • 例如，对于 s = uᵀf(Wx+b)：x → Wx → z = Wx+b → h = f(z) → s = uᵀh。
  • 反向传播 (Backward Propagation)：从最终输出开始，沿着图反向计算梯度。
    • 起始梯度 ds/ds = 1。
    • 核心递推关系：下游梯度 = 上游梯度 × 局部梯度 (Downstream gradient = Upstream gradient × Local gradient)。
      • 上游梯度：指损失函数相对于当前节点输出的梯度 (如 ds/dh)。
      • 局部梯度：指当前节点输出相对于其直接输入的梯度 (如 dh/dz)。
      • 下游梯度：指损失函数相对于当前节点输入的梯度 (如 ds/dz)。
  • 多输入/输出节点的梯度处理：
    • 如果一个变量流向多个后续计算节点（分叉），在反向传播时，其总梯度是来自这些后续节点梯度的总和。
• 计算图示例
  • 教授通过一个简单的数学表达式 f(x,y,z) = (x+y) * max(y,z) 演示了前向和反向传播过程，清晰展示了每个节点的局部梯度计算以及如何利用链式法则逐层回传梯度。
    • 加法节点：梯度被等量分配给其输入。
    • Max节点：梯度只流向值较大的那个输入。
    • 乘法节点：梯度会乘以另一个输入的在前向传播时的值。
• 反向传播的效率
  • 正确实现的反向传播算法，其计算复杂度（大O表示法）与前向传播的计算复杂度相同。如果反向传播更慢，通常意味着存在重复计算。

自动微分 (Automatic Differentiation)

• 早期尝试
  • 如Theano框架，尝试进行完全的符号微分 (symbolic differentiation)，即根据函数的符号表达式自动推导出导数表达式并计算。
• 现代深度学习框架的实践 (如PyTorch, TensorFlow)
  • 这些框架通常不进行完全的符号微分，而是采取一种更实用的方式：
    • 框架负责管理计算图，并执行前向和反向传播的流程。
    • 用户需要为自定义的层或操作提供其局部导数的计算方法。即，如果定义一个新的神经网络层，需要实现其 forward (前向计算) 和 backward (局部梯度计算) 两个函数。
    • 框架在反向传播时会调用用户提供的 backward 函数来获取局部梯度。
  • forward 传递计算所需值给 backward：通常，forward 方法在执行时会存储一些在计算局部梯度时需要用到的中间值（如输入值），以便 backward 方法后续使用。

梯度检验 (Gradient Checking)

• 目的：验证手动推导或实现的反向传播（解析梯度）是否正确。
• 方法：使用数值方法（有限差分）来估计梯度。
  • 双边估计公式：∇f(x) ≈ (f(x+ε) - f(x-ε)) / (2ε)，其中 ε 是一个小值（如 10⁻⁴）。单边估计 (f(x+ε) - f(x)) / ε 也可以使用，但双边估计通常更精确。
  • 比较数值梯度与解析梯度，若两者非常接近（如差异小于 10⁻²），则认为解析梯度计算正确。
• 特点：
  • 速度极慢：因为需要对每个参数单独进行多次前向计算。
  • 主要用于调试自己实现的新的网络层或复杂的梯度计算，不用于模型训练。
  • 在现代框架下，如果仅使用预定义层，通常不需要手动进行梯度检验，但理解其原理有助于调试。

理解反向传播的重要性

• 超越黑箱操作：尽管现代深度学习框架高度自动化，理解反向传播有助于用户不仅仅是将层像乐高积木一样堆叠，而是真正理解模型内部的工作机制。
• 理解复杂模型和调试问题：
  • 在遇到更复杂的模型或问题（如循环神经网络中的梯度消失/爆炸 (exploding/vanishing gradients)）时，理解梯度是如何计算和传播的，对于分析问题原因和寻找解决方案至关重要。
  • 教授希望学生通过学习和作业，能够对神经网络的内部工作原理有所掌握。

结论

本讲详细介绍了神经网络中梯度的计算原理，从矩阵微积分基础到反向传播算法的具体实现和验证。核心在于通过链式法则高效计算梯度，这是驱动神经网络学习的关键。尽管现代工具简化了许多操作，但深刻理解这些底层机制对于高级应用和问题排查仍然非常重要。