9、优化算法：从梯度下降到Adam的深入解析

优化算法：从梯度下降到Adam的深入解析

1. 动态学习率衰减与初始学习率

在使用动态学习率衰减时，通常建议从一个比正常情况更大的初始学习率γ0开始。由于γ会逐渐减小，这样一般不会产生问题，并且有望加快初始阶段的收敛速度。不过，并没有固定规则表明哪种方法更好，因为每个案例和数据集都不同，所以总是需要进行一些测试，以确定哪个参数值能产生最佳结果。

2. 常见优化器概述

到目前为止，我们一直使用梯度下降来最小化成本函数，但这并非最有效的方法。对该算法进行一些修改可以使其更快、更高效。这是一个非常活跃的研究领域，有大量基于不同思想的算法旨在加快学习速度。这里将介绍最具启发性和广为人知的几种：动量优化器（Momentum）、RMSProp和Adam。

2.1 指数加权平均

假设我们随时间测量一个量θ（例如居住地的每日温度），会得到一系列测量值θi，其中i从1到某个数N。我们递归地定义一个量vn：
- (v_0 = 0)
- (v_1 = \beta v_0 + (1 - \beta)\theta_1)
- (v_2 = \beta v_1 + (1 - \beta)\theta_2)
- 一般地，第n项为 (v_n = \beta v_{n - 1} + (1 - \beta)\theta_n)，其中β是一个介于0和1之间的实数。

将其展开为非递归形式：
- (v_2 = \beta^2 v_0 + \beta(1 - \beta)\theta_1 + (1 - \beta)\theta_2)
- (v_3 = \beta^3 v_0 + \beta^2(1 -