深度学习中最核心的三种优化算法或优化策略：SGD (随机梯度下降)、Momentum (动量) 策略，以及 Adam (自适应矩估计) 优化器。
下面是它们的核心原理、优势和关系总结：
优化器/策略总结对比
| 名称 | 类型 | 核心机制 | 主要解决的问题 |
|---|---|---|---|
| SGD | 基础优化器 | 仅依赖当前小批量数据的梯度来更新参数。 | 传统梯度下降 (BGD) 的计算效率问题。 |
| Momentum | 加速策略 (通常结合 SGD) | 引入历史梯度的积累项（惯性）。 | SGD 的震荡和在平坦区域收敛慢的问题。 |
| Adam | 自适应学习率优化器 | 结合 动量 (m_t) 和 自适应学习率 (v_t)。 | 所有参数的学习率固定且需要手动调优的问题。 |
详细介绍与关系
1. SGD (随机梯度下降)
-
核心： 每次迭代（Step）只使用一小批（Mini-Batch）样本来近似整个数据集的梯度 $g_t$。
-
更新： 沿着当前梯度的反方向移动。
-
缺点：
- 高方差/震荡： 梯度 $g_t$ 的估计噪声大，导致优化路径在损失曲面上剧烈震荡。
- 鞍点停滞： 在损失函数曲面的平坦区域或梯度接近零的鞍点处，优化速度极慢。
2. Momentum (动量)
-
核心： 为 SGD 引入惯性。通过计算历史梯度的指数加权平均 $v_t$ 来指导更新方向。
-
机制：
-
作用：
- 加速： 在方向一致时，动量积累，加速收敛。
- 平滑： 抵消随机的小幅震荡，使更新路径更平滑、更直接。
- 跳出： 帮助优化过程“冲过”浅层的局部最小值和鞍点。
3. Adam (自适应矩估计)
-
核心： 结合动量 (一阶矩 $m_t$) 和 RMSProp 的自适应性 (二阶矩 $v_t$)。它为每个参数赋予独立的、动态调整的学习率。
-
机制：
-
优势：
- 高效： 结合了动量的加速和自适应性的稳定性。
- 易用： 通常不需要仔细调整学习率（只需设定全局），在大多数任务中都能快速获得良好结果。
总结： SGD 是基础；Momentum 解决了 SGD 的收敛震荡问题；Adam 则在 Momentum 基础上，解决了所有参数共享一个固定学习率的限制，实现了更快的收敛和更好的通用性。