别再死记硬背了！用PyTorch实战代码，5分钟搞懂SGD、Adam、AdamW优化器的核心区别
用PyTorch实战代码揭秘SGD、Adam与AdamW优化器的本质差异
当你在PyTorch项目中面对众多优化器选项时，是否曾被SGD、Adam和AdamW之间的选择困扰？本文将通过可复现的对比实验，带你直观测评三大主流优化器的实际表现差异。我们不会停留在理论公式的罗列，而是用代码说话——用同一简单模型分别搭配不同优化器训练，通过损失曲线、参数更新轨迹等可视化结果，揭示它们在不同场景下的真实表现。
1. 实验环境搭建与基准模型
首先构建一个标准化的测试环境。我们使用PyTorch 2.0+和Matplotlib进行可视化，创建一个包含两个全连接层的简单神经网络作为测试基准：
import torch import torch.nn as nn import matplotlib.pyplot as plt class SimpleModel(nn.Module): def __init__(self): super().__init__() self.fc1 = nn.Linear(10, 50) self.relu = nn.ReLU() self.fc2 = nn.Linear(50, 1) def forward(self, x): return self.fc2(self.relu(self.fc1(x))) # 生成模拟数据 torch.manual_seed(42) X = torch.randn(1000, 10) y = X.sum(dim=1, keepdim=True) + torch.randn(1000, 1)*0.1 dataset = torch.utils.data.TensorDataset(X, y) loader = torch.utils.data.DataLoader(dataset, batch_size=32, shuffle=True)这个模型虽然简单，但足以展示不同优化器的核心特性。我们特意保持模型结构不变，仅更换优化器进行对比实验。
2. SGD优化器的实战表现
SGD（随机梯度下降）是最基础的优化器，但配合动量（Momentum）后仍能在特定场景下表现出色。下面我们实现两种SGD变体：
def train_with_optimizer(optimizer_class, **kwargs): model = SimpleModel() criterion = nn.MSELoss() optimizer = optimizer_class(model.parameters(), **kwargs) losses = [] for epoch in range(100): epoch_loss = 0 for x_batch, y_batch in loader: optimizer.zero_grad() outputs = model(x_batch) loss = criterion(outputs, y_batch) loss.backward() optimizer.step() epoch_loss += loss.item() losses.append(epoch_loss/len(loader)) return losses # 普通SGD vs 带动量的SGD sgd_loss = train_with_optimizer(torch.optim.SGD, lr=0.01) sgd_momentum_loss = train_with_optimizer(torch.optim.SGD, lr=0.01, momentum=0.9)将训练过程的损失曲线可视化后，我们可以观察到：
| 优化器类型 | 收敛速度 | 最终精度 | 训练稳定性 |
|---|---|---|---|
| 普通SGD | 慢 | 中等 | 波动较大 |
| SGD+Momentum | 较快 | 较高 | 较平稳 |
提示：SGD对学习率非常敏感。实验发现当学习率>0.05时，普通SGD容易出现震荡不收敛的情况，而带动量的版本能容忍稍大的学习率。
SGD特别适合以下场景：
- 数据量较小且特征分布均匀时
- 需要极精细调参的场合（如超分辨率任务）
- 配合学习率调度器使用时
3. Adam优化器的自适应特性
Adam结合了动量思想和自适应学习率，使其成为深度学习中的"万金油"选择。我们对比不同β参数下的表现：
adam_beta1 = train_with_optimizer(torch.optim.Adam, lr=0.001, betas=(0.9, 0.999)) adam_beta2 = train_with_optimizer(torch.optim.Adam, lr=0.001, betas=(0.99, 0.999))通过参数更新轨迹的可视化，Adam展现出以下典型特征：
- 初期快速收敛：得益于自适应学习率，Adam在前10个epoch就能大幅降低损失
- 平稳后期优化：随着训练进行，参数更新幅度自动减小
- 超参数鲁棒性：不同β设置下表现差异不大
但Adam也存在明显缺陷：
- 在计算机视觉任务中有时泛化性不如SGD
- 对batch size较敏感，小batch下表现可能不稳定
- 内存占用是SGD的两倍（需要保存一阶和二阶动量）
4. AdamW的改进与NLP优势
AdamW通过修正权重衰减(weight decay)的实现方式，解决了Adam在某些场景下的泛化问题。关键区别在于：
# 标准Adam与AdamW的权重衰减实现差异 adam_loss = train_with_optimizer(torch.optim.Adam, lr=0.001, weight_decay=0.01) adamw_loss = train_with_optimizer(torch.optim.AdamW, lr=0.001, weight_decay=0.01)实验结果显示出AdamW的独特优势：
- 在Transformer类模型上表现更稳定
- 权重衰减效果不再受梯度缩放影响
- 特别适合语言模型预训练等长周期任务
以下是一个典型的NLP任务优化器选择策略：
def get_optimizer(model, is_nlp_task=False): if is_nlp_task: return torch.optim.AdamW(model.parameters(), lr=2e-5, weight_decay=0.01) else: return torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9)5. 综合对比与选型指南
通过三维参数空间的可视化分析，我们总结出优化器选择的黄金法则：
计算机视觉领域：
- 小数据集：SGD+Momentum
- 大数据集：AdamW(weight_decay=0.05)
自然语言处理：
- 几乎总是AdamW
- 学习率通常设为2e-5到5e-5
强化学习：
- 简单任务：RMSprop
- 复杂任务：Adam
常见陷阱及解决方案：
- 损失震荡剧烈：降低学习率或增加batch size
- 收敛后精度波动：尝试AdamW或减小weight decay
- 训练初期不下降：检查梯度是否正常传播
最后分享一个实用的学习率测试方法：
def find_optimal_lr(model, optimizer_class, lr_range=(1e-5, 1)): # 实现学习率范围测试 ...在实际项目中，我通常会先用AdamW进行快速原型开发，待模型结构确定后再尝试用SGD调优。对于BERT类模型，直接使用AdamW with warmup几乎总是最佳选择。记住，没有放之四海而皆准的优化器，理解它们的内在机制才能做出明智选择。