拓冰网站定制 
1. 模型优化器到底在优化什么第一次看到“Model-Optimizer”这个词很多人会下意识觉得它就是一个调参工具或者是一个自动搜超参的脚本。但真正在训练一线待过的人都知道模型优化器远不止这么简单。它更像是一个“训练过程的调度中心”负责决定每一步参数怎么更新、更新多少、往哪个方向更新。你可以把它理解成开车时的油门和方向盘模型结构是车本身数据是路况而优化器就是那个决定你踩多大油门、什么时候打方向的人。我在实际项目里踩过最大的坑就是早期只关注模型结构觉得换个更大的网络就能提升效果结果训练loss震荡得厉害收敛极慢。后来才发现问题出在优化器的选择和学习率调度上。同一个模型换一个合适的优化器收敛速度能差出三到五倍最终指标也能差好几个百分点。所以“Model-Optimizer”这个标题背后真正要聊的是如何根据任务特点、数据规模和硬件条件选对优化策略并把它调稳。这篇文章适合谁看如果你正在训练深度学习模型不管是做视觉、NLP还是推荐系统只要涉及到梯度下降相关的训练流程这里面的经验都能直接复用。如果你刚入门我会用生活化的类比把原理讲清楚如果你已经有一定经验我会重点分享那些文档里不会写的实操细节和避坑技巧。2. 优化器的核心家族与选型逻辑2.1 从SGD到Adam为什么会有这么多变体最基础的优化器是随机梯度下降SGD它的逻辑特别朴素每次拿一批数据算梯度然后沿着梯度的反方向走一小步。这个“一小步”就是学习率。SGD的优点是理论干净、泛化性能往往不错但缺点也很明显——对学习率极其敏感而且容易在鞍点附近震荡。后来出现了动量法Momentum相当于给SGD加了一个“惯性”。想象一个球从山坡滚下来如果每次都只看当前坡度遇到平地就停了但有了动量球会带着之前的速度继续往前冲更容易越过平坦区域和小坑洼。实际训练中Momentum通常比纯SGD收敛快很多。再往后就是Adam系列它同时结合了动量和自适应学习率。Adam会为每个参数单独维护一个学习率根据梯度的一阶矩和二阶矩估计来动态调整。这就好比给每个参数配了一个私人教练根据它最近的“表现”来决定下一步该迈多大。Adam在大多数任务上都能快速收敛对初始学习率不那么挑剔所以成了很多人的默认选择。但Adam也不是万能的。我在一些图像分类任务上对比过Adam前期收敛确实快但最终验证集精度有时反而不如调好学习率的SGDMomentum。原因在于Adam的自适应机制在某些情况下会导致泛化差距。所以选型的第一条原则是不要盲目默认Adam要根据任务阶段和最终目标来选。2.2 选型决策表什么场景用什么优化器下面这张表是我根据多个实际项目总结出来的选型参考覆盖了常见任务类型和硬件条件任务类型推荐优化器初始学习率范围关键理由小规模图像分类SGDMomentum0.01~0.1泛化好调参空间明确大规模图像分类AdamW1e-4~3e-4收敛快权重衰减解耦Transformer类NLP任务AdamW1e-5~5e-5对稀疏梯度友好稳定推荐系统EmbeddingAdagrad/Adam1e-3~1e-2稀疏特征自适应强化学习策略网络Adam3e-4~1e-3对噪声梯度鲁棒微调预训练模型AdamW1e-5~2e-5小学习率防止灾难遗忘这张表不是死规矩但能帮你快速缩小选择范围。我一般会先按任务类型选一个候选然后跑一个短周期实验比如5个epoch看loss曲线再决定要不要换。2.3 学习率调度比优化器本身更重要的事很多人花大量时间对比Adam和SGD却忽略了学习率调度策略。实际上学习率怎么随时间变化往往比选哪个优化器影响更大。我见过同一个优化器因为调度策略不同最终指标差了将近8个百分点。常见的调度策略有几种Step Decay每隔固定epoch把学习率乘以一个衰减系数比如0.1。简单粗暴适合训练周期明确的任务。Cosine Annealing学习率按余弦曲线从初始值降到接近零。平滑过渡后期收敛更稳。Warmup Linear Decay先线性升温再线性降温。Transformer类模型几乎必用因为初期梯度噪声大直接上大学习率容易崩。ReduceLROnPlateau监控验证集指标不提升就降学习率。适合不确定训练多久的场景。我的经验是如果训练周期固定优先用Cosine如果训练周期不固定用ReduceLROnPlateau如果是TransformerWarmup不能省。Warmup的步数一般设总步数的5%~10%具体要看batch size和模型深度。3. 实操从零搭建一个可复现的优化流程3.1 环境准备与基础配置在开始之前先把环境理清楚。我习惯用PyTorch因为它的优化器接口清晰而且方便自定义。以下是一个最小可复现的配置示例import torch import torch.nn as nn import torch.optim as optim from torch.optim.lr_scheduler import CosineAnnealingLR # 假设模型和数据加载器已经定义好 model MyModel() train_loader MyDataLoader() # 优化器配置 optimizer optim.AdamW( model.parameters(), lr3e-4, betas(0.9, 0.999), eps1e-8, weight_decay0.01 ) # 学习率调度器 scheduler CosineAnnealingLR( optimizer, T_maxlen(train_loader) * num_epochs, eta_min1e-6 )这里有几个参数需要解释。betas控制一阶矩和二阶矩的指数衰减率默认(0.9, 0.999)在大多数情况下够用但如果你的数据噪声特别大可以把第二个beta调低到0.99让二阶矩估计更稳定。eps是防止除零的小常数一般不用动。weight_decay是权重衰减AdamW把它和梯度更新解耦了所以可以放心用。注意AdamW和Adam的weight_decay实现方式不同。AdamW是在参数更新时直接乘衰减系数而Adam是把衰减加进梯度里。如果你从Adam切到AdamWweight_decay可以适当调大一点因为解耦后正则化效果更直接。3.2 训练循环中的关键细节训练循环看起来简单但有几个地方特别容易出问题。下面是我常用的一个训练循环骨架for epoch in range(num_epochs): model.train() for step, (inputs, targets) in enumerate(train_loader): inputs, targets inputs.cuda(), targets.cuda() optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, targets) loss.backward() # 梯度裁剪防止梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() scheduler.step() # 记录日志 if step % log_interval 0: current_lr scheduler.get_last_lr()[0] print(fEpoch {epoch}, Step {step}, Loss {loss.item():.4f}, LR {current_lr:.2e})这里有几个实操要点。第一optimizer.zero_grad()一定要在loss.backward()之前调用否则梯度会累积。第二梯度裁剪在RNN和Transformer里几乎是必须的max_norm一般设0.5到1.0之间。第三scheduler.step()的位置取决于调度器类型CosineAnnealing是每步更新ReduceLROnPlateau是每epoch更新别搞混了。我踩过的一个坑是有一次用ReduceLROnPlateau结果在训练循环里每步都调用scheduler.step(valid_loss)导致学习率被频繁调整模型根本没法收敛。后来改成每epoch调用一次才正常。所以调度器的更新频率一定要和它的设计意图匹配。3.3 参数分组与差异化学习率在实际项目中不同层往往需要不同的学习率。比如微调预训练模型时底层特征提取部分希望学习率小一点顶层分类头希望学习率大一点。这时候就需要参数分组# 假设模型有backbone和head两部分 backbone_params list(model.backbone.parameters()) head_params list(model.head.parameters()) optimizer optim.AdamW([ {params: backbone_params, lr: 1e-5}, {params: head_params, lr: 1e-3} ], weight_decay0.01)这种差异化学习率在迁移学习里特别有用。我的经验是backbone的学习率一般设head的十分之一到百分之一。如果backbone是冻结的那直接不传进去就行。另外BatchNorm层的参数通常也建议单独分组或者直接冻结因为小batch下BN的统计量不稳定。4. 常见问题与排查技巧实录4.1 Loss不下降或震荡怎么办这是最常见的问题没有之一。我一般按以下顺序排查检查学习率是否过大把学习率降低10倍跑几百步如果loss开始下降说明之前太大了。检查数据预处理输入是否归一化标签是否对齐我遇到过因为图像归一化参数写错导致loss完全不降的情况。检查梯度是否存在NaN在loss.backward()之后打印梯度范数如果出现NaN说明有数值溢出。检查优化器状态如果从checkpoint恢复训练优化器的状态字典也要恢复否则动量信息丢失会导致初期震荡。下面这张表是我整理的快速排查对照现象可能原因快速验证方法解决方案Loss震荡剧烈学习率过大降低10倍试跑调小lr或加WarmupLoss完全不降梯度消失/标签错误打印梯度范数检查数据管道Loss下降后反弹过拟合对比训练/验证曲线加正则或早停Loss出现NaN梯度爆炸检查梯度最大值加梯度裁剪收敛极慢优化器不适配换Adam试跑换优化器或调度4.2 学习率调参的实用技巧学习率是优化器里最关键的参数没有之一。我常用的调参方法是学习率扫描从1e-6到1e-1取几个点每个跑几百步画loss曲线找下降最快的那个量级。然后在这个量级附近再细调。另一个技巧是学习率预热。特别是Transformer类模型前几百步用很小的学习率线性升温能显著提升训练稳定性。Warmup的步数一般设总步数的5%到10%。如果训练数据量很大Warmup步数可以适当增加。提示如果你不确定学习率设多少可以从3e-4开始试。这个值在Adam类优化器上对大多数任务都比较友好不会太大也不会太小。4.3 权重衰减与正则化的配合权重衰减是防止过拟合的重要手段但它和优化器的配合方式会影响效果。AdamW把权重衰减解耦后一般设0.01到0.1之间。如果发现模型过拟合严重可以适当调大如果欠拟合就调小或设为0。另外权重衰减通常不应用于偏置项和BatchNorm参数。在参数分组时可以把这些参数单独拿出来weight_decay设为0。这个细节很多教程不会提但实际用起来效果差异明显。5. 进阶自定义优化器与混合策略5.1 什么时候需要自定义优化器大多数情况下PyTorch内置的优化器够用了。但有些特殊场景需要自定义比如需要对不同参数应用完全不同的更新规则需要实现论文里的新优化算法需要在更新时加入额外的约束或投影自定义优化器的核心是继承torch.optim.Optimizer然后实现step()方法。下面是一个简化示例class MyOptimizer(optim.Optimizer): def __init__(self, params, lr1e-3, beta0.9): defaults dict(lrlr, betabeta) super().__init__(params, defaults) torch.no_grad() def step(self, closureNone): loss None if closure is not None: with torch.enable_grad(): loss closure() for group in self.param_groups: lr group[lr] beta group[beta] for p in group[params]: if p.grad is None: continue grad p.grad state self.state[p] if len(state) 0: state[momentum] torch.zeros_like(p) momentum state[momentum] momentum.mul_(beta).add_(grad, alpha1-beta) p.add_(momentum, alpha-lr) return loss这个例子实现了一个简单的动量SGD。实际自定义时要注意状态管理和数值稳定性。5.2 混合优化策略的实践在一些复杂任务里单一优化器可能不够用。比如多任务学习不同任务的loss尺度差异很大这时候可以考虑梯度归一化对不同任务的梯度做归一化后再合并动态权重根据任务的不确定性自动调整loss权重分阶段优化前期用Adam快速收敛后期切SGD提升泛化我试过在图像分类任务上先用Adam跑20个epoch然后切到SGDMomentum再跑30个epoch。最终验证集精度比全程Adam高了约1.5个百分点。这个策略的代价是需要多调一组超参但收益在精度敏感的场景下很值得。注意切换优化器时学习率要重新调整。从Adam切到SGD学习率一般要放大10倍左右因为SGD的更新幅度相对较小。6. 硬件与分布式训练中的优化器注意事项6.1 混合精度训练与优化器状态混合精度训练AMP能显著减少显存占用和加速计算但它对优化器状态有影响。在AMP下优化器状态通常保持FP32而前向和反向用FP16。PyTorch的GradScaler会自动处理梯度缩放防止FP16下溢。scaler torch.cuda.amp.GradScaler() for inputs, targets in train_loader: optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs model(inputs) loss criterion(outputs, targets) scaler.scale(loss).backward() scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) scaler.step(optimizer) scaler.update()这里的关键是scaler.unscale_()要在梯度裁剪之前调用否则裁剪的是缩放后的梯度数值不对。另外如果遇到梯度溢出scaler.step()会跳过这次更新这是正常行为不用慌。6.2 分布式训练中的优化器同步在DDPDistributedDataParallel模式下每个进程有独立的优化器实例但梯度会在反向传播时自动同步。所以优化器的超参在每个进程上必须一致否则更新会不同步。有一个容易忽略的点学习率调度器在分布式下要确保所有进程同步更新。如果调度器依赖验证集指标而验证只在主进程做那其他进程的调度器状态可能不一致。解决方案是用torch.distributed.broadcast把主进程的调度器状态广播出去或者直接用基于步数的调度器如Cosine避免依赖指标。7. 我个人的优化器调参心得调优化器这件事说到底就是在收敛速度和最终精度之间找平衡。Adam类优化器帮你快速到达一个不错的点SGD类优化器帮你在这个点附近找到更平坦的极小值。我的习惯是先快速试错再精细打磨。具体来说新任务上手时我会用AdamW加Cosine调度跑一个基线学习率设3e-4weight_decay设0.01。如果基线效果可以接受再尝试换SGDMomentum看能不能提升泛化。如果基线就不行那问题大概率不在优化器而在数据或模型结构上。还有一个经验不要频繁换优化器。每次换优化器都意味着重新调学习率和调度策略成本很高。先把一个优化器调透再考虑换。我见过太多人在这上面浪费时间最后发现是数据标签有问题。最后分享一个小技巧如果你不确定weight_decay设多少可以先设为0跑一轮看训练集和验证集的差距。如果差距很大说明过拟合逐步加大weight_decay如果差距很小但两者都高说明欠拟合应该减小weight_decay或增加模型容量。这个判断方法比盲目试参快得多。 深度学习模型优化器选型与调参实战指南
1. 模型优化器到底在优化什么第一次看到“Model-Optimizer”这个词很多人会下意识觉得它就是一个调参工具或者是一个自动搜超参的脚本。但真正在训练一线待过的人都知道模型优化器远不止这么简单。它更像是一个“训练过程的调度中心”负责决定每一步参数怎么更新、更新多少、往哪个方向更新。你可以把它理解成开车时的油门和方向盘模型结构是车本身数据是路况而优化器就是那个决定你踩多大油门、什么时候打方向的人。我在实际项目里踩过最大的坑就是早期只关注模型结构觉得换个更大的网络就能提升效果结果训练loss震荡得厉害收敛极慢。后来才发现问题出在优化器的选择和学习率调度上。同一个模型换一个合适的优化器收敛速度能差出三到五倍最终指标也能差好几个百分点。所以“Model-Optimizer”这个标题背后真正要聊的是如何根据任务特点、数据规模和硬件条件选对优化策略并把它调稳。这篇文章适合谁看如果你正在训练深度学习模型不管是做视觉、NLP还是推荐系统只要涉及到梯度下降相关的训练流程这里面的经验都能直接复用。如果你刚入门我会用生活化的类比把原理讲清楚如果你已经有一定经验我会重点分享那些文档里不会写的实操细节和避坑技巧。2. 优化器的核心家族与选型逻辑2.1 从SGD到Adam为什么会有这么多变体最基础的优化器是随机梯度下降SGD它的逻辑特别朴素每次拿一批数据算梯度然后沿着梯度的反方向走一小步。这个“一小步”就是学习率。SGD的优点是理论干净、泛化性能往往不错但缺点也很明显——对学习率极其敏感而且容易在鞍点附近震荡。后来出现了动量法Momentum相当于给SGD加了一个“惯性”。想象一个球从山坡滚下来如果每次都只看当前坡度遇到平地就停了但有了动量球会带着之前的速度继续往前冲更容易越过平坦区域和小坑洼。实际训练中Momentum通常比纯SGD收敛快很多。再往后就是Adam系列它同时结合了动量和自适应学习率。Adam会为每个参数单独维护一个学习率根据梯度的一阶矩和二阶矩估计来动态调整。这就好比给每个参数配了一个私人教练根据它最近的“表现”来决定下一步该迈多大。Adam在大多数任务上都能快速收敛对初始学习率不那么挑剔所以成了很多人的默认选择。但Adam也不是万能的。我在一些图像分类任务上对比过Adam前期收敛确实快但最终验证集精度有时反而不如调好学习率的SGDMomentum。原因在于Adam的自适应机制在某些情况下会导致泛化差距。所以选型的第一条原则是不要盲目默认Adam要根据任务阶段和最终目标来选。2.2 选型决策表什么场景用什么优化器下面这张表是我根据多个实际项目总结出来的选型参考覆盖了常见任务类型和硬件条件任务类型推荐优化器初始学习率范围关键理由小规模图像分类SGDMomentum0.01~0.1泛化好调参空间明确大规模图像分类AdamW1e-4~3e-4收敛快权重衰减解耦Transformer类NLP任务AdamW1e-5~5e-5对稀疏梯度友好稳定推荐系统EmbeddingAdagrad/Adam1e-3~1e-2稀疏特征自适应强化学习策略网络Adam3e-4~1e-3对噪声梯度鲁棒微调预训练模型AdamW1e-5~2e-5小学习率防止灾难遗忘这张表不是死规矩但能帮你快速缩小选择范围。我一般会先按任务类型选一个候选然后跑一个短周期实验比如5个epoch看loss曲线再决定要不要换。2.3 学习率调度比优化器本身更重要的事很多人花大量时间对比Adam和SGD却忽略了学习率调度策略。实际上学习率怎么随时间变化往往比选哪个优化器影响更大。我见过同一个优化器因为调度策略不同最终指标差了将近8个百分点。常见的调度策略有几种Step Decay每隔固定epoch把学习率乘以一个衰减系数比如0.1。简单粗暴适合训练周期明确的任务。Cosine Annealing学习率按余弦曲线从初始值降到接近零。平滑过渡后期收敛更稳。Warmup Linear Decay先线性升温再线性降温。Transformer类模型几乎必用因为初期梯度噪声大直接上大学习率容易崩。ReduceLROnPlateau监控验证集指标不提升就降学习率。适合不确定训练多久的场景。我的经验是如果训练周期固定优先用Cosine如果训练周期不固定用ReduceLROnPlateau如果是TransformerWarmup不能省。Warmup的步数一般设总步数的5%~10%具体要看batch size和模型深度。3. 实操从零搭建一个可复现的优化流程3.1 环境准备与基础配置在开始之前先把环境理清楚。我习惯用PyTorch因为它的优化器接口清晰而且方便自定义。以下是一个最小可复现的配置示例import torch import torch.nn as nn import torch.optim as optim from torch.optim.lr_scheduler import CosineAnnealingLR # 假设模型和数据加载器已经定义好 model MyModel() train_loader MyDataLoader() # 优化器配置 optimizer optim.AdamW( model.parameters(), lr3e-4, betas(0.9, 0.999), eps1e-8, weight_decay0.01 ) # 学习率调度器 scheduler CosineAnnealingLR( optimizer, T_maxlen(train_loader) * num_epochs, eta_min1e-6 )这里有几个参数需要解释。betas控制一阶矩和二阶矩的指数衰减率默认(0.9, 0.999)在大多数情况下够用但如果你的数据噪声特别大可以把第二个beta调低到0.99让二阶矩估计更稳定。eps是防止除零的小常数一般不用动。weight_decay是权重衰减AdamW把它和梯度更新解耦了所以可以放心用。注意AdamW和Adam的weight_decay实现方式不同。AdamW是在参数更新时直接乘衰减系数而Adam是把衰减加进梯度里。如果你从Adam切到AdamWweight_decay可以适当调大一点因为解耦后正则化效果更直接。3.2 训练循环中的关键细节训练循环看起来简单但有几个地方特别容易出问题。下面是我常用的一个训练循环骨架for epoch in range(num_epochs): model.train() for step, (inputs, targets) in enumerate(train_loader): inputs, targets inputs.cuda(), targets.cuda() optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, targets) loss.backward() # 梯度裁剪防止梯度爆炸 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() scheduler.step() # 记录日志 if step % log_interval 0: current_lr scheduler.get_last_lr()[0] print(fEpoch {epoch}, Step {step}, Loss {loss.item():.4f}, LR {current_lr:.2e})这里有几个实操要点。第一optimizer.zero_grad()一定要在loss.backward()之前调用否则梯度会累积。第二梯度裁剪在RNN和Transformer里几乎是必须的max_norm一般设0.5到1.0之间。第三scheduler.step()的位置取决于调度器类型CosineAnnealing是每步更新ReduceLROnPlateau是每epoch更新别搞混了。我踩过的一个坑是有一次用ReduceLROnPlateau结果在训练循环里每步都调用scheduler.step(valid_loss)导致学习率被频繁调整模型根本没法收敛。后来改成每epoch调用一次才正常。所以调度器的更新频率一定要和它的设计意图匹配。3.3 参数分组与差异化学习率在实际项目中不同层往往需要不同的学习率。比如微调预训练模型时底层特征提取部分希望学习率小一点顶层分类头希望学习率大一点。这时候就需要参数分组# 假设模型有backbone和head两部分 backbone_params list(model.backbone.parameters()) head_params list(model.head.parameters()) optimizer optim.AdamW([ {params: backbone_params, lr: 1e-5}, {params: head_params, lr: 1e-3} ], weight_decay0.01)这种差异化学习率在迁移学习里特别有用。我的经验是backbone的学习率一般设head的十分之一到百分之一。如果backbone是冻结的那直接不传进去就行。另外BatchNorm层的参数通常也建议单独分组或者直接冻结因为小batch下BN的统计量不稳定。4. 常见问题与排查技巧实录4.1 Loss不下降或震荡怎么办这是最常见的问题没有之一。我一般按以下顺序排查检查学习率是否过大把学习率降低10倍跑几百步如果loss开始下降说明之前太大了。检查数据预处理输入是否归一化标签是否对齐我遇到过因为图像归一化参数写错导致loss完全不降的情况。检查梯度是否存在NaN在loss.backward()之后打印梯度范数如果出现NaN说明有数值溢出。检查优化器状态如果从checkpoint恢复训练优化器的状态字典也要恢复否则动量信息丢失会导致初期震荡。下面这张表是我整理的快速排查对照现象可能原因快速验证方法解决方案Loss震荡剧烈学习率过大降低10倍试跑调小lr或加WarmupLoss完全不降梯度消失/标签错误打印梯度范数检查数据管道Loss下降后反弹过拟合对比训练/验证曲线加正则或早停Loss出现NaN梯度爆炸检查梯度最大值加梯度裁剪收敛极慢优化器不适配换Adam试跑换优化器或调度4.2 学习率调参的实用技巧学习率是优化器里最关键的参数没有之一。我常用的调参方法是学习率扫描从1e-6到1e-1取几个点每个跑几百步画loss曲线找下降最快的那个量级。然后在这个量级附近再细调。另一个技巧是学习率预热。特别是Transformer类模型前几百步用很小的学习率线性升温能显著提升训练稳定性。Warmup的步数一般设总步数的5%到10%。如果训练数据量很大Warmup步数可以适当增加。提示如果你不确定学习率设多少可以从3e-4开始试。这个值在Adam类优化器上对大多数任务都比较友好不会太大也不会太小。4.3 权重衰减与正则化的配合权重衰减是防止过拟合的重要手段但它和优化器的配合方式会影响效果。AdamW把权重衰减解耦后一般设0.01到0.1之间。如果发现模型过拟合严重可以适当调大如果欠拟合就调小或设为0。另外权重衰减通常不应用于偏置项和BatchNorm参数。在参数分组时可以把这些参数单独拿出来weight_decay设为0。这个细节很多教程不会提但实际用起来效果差异明显。5. 进阶自定义优化器与混合策略5.1 什么时候需要自定义优化器大多数情况下PyTorch内置的优化器够用了。但有些特殊场景需要自定义比如需要对不同参数应用完全不同的更新规则需要实现论文里的新优化算法需要在更新时加入额外的约束或投影自定义优化器的核心是继承torch.optim.Optimizer然后实现step()方法。下面是一个简化示例class MyOptimizer(optim.Optimizer): def __init__(self, params, lr1e-3, beta0.9): defaults dict(lrlr, betabeta) super().__init__(params, defaults) torch.no_grad() def step(self, closureNone): loss None if closure is not None: with torch.enable_grad(): loss closure() for group in self.param_groups: lr group[lr] beta group[beta] for p in group[params]: if p.grad is None: continue grad p.grad state self.state[p] if len(state) 0: state[momentum] torch.zeros_like(p) momentum state[momentum] momentum.mul_(beta).add_(grad, alpha1-beta) p.add_(momentum, alpha-lr) return loss这个例子实现了一个简单的动量SGD。实际自定义时要注意状态管理和数值稳定性。5.2 混合优化策略的实践在一些复杂任务里单一优化器可能不够用。比如多任务学习不同任务的loss尺度差异很大这时候可以考虑梯度归一化对不同任务的梯度做归一化后再合并动态权重根据任务的不确定性自动调整loss权重分阶段优化前期用Adam快速收敛后期切SGD提升泛化我试过在图像分类任务上先用Adam跑20个epoch然后切到SGDMomentum再跑30个epoch。最终验证集精度比全程Adam高了约1.5个百分点。这个策略的代价是需要多调一组超参但收益在精度敏感的场景下很值得。注意切换优化器时学习率要重新调整。从Adam切到SGD学习率一般要放大10倍左右因为SGD的更新幅度相对较小。6. 硬件与分布式训练中的优化器注意事项6.1 混合精度训练与优化器状态混合精度训练AMP能显著减少显存占用和加速计算但它对优化器状态有影响。在AMP下优化器状态通常保持FP32而前向和反向用FP16。PyTorch的GradScaler会自动处理梯度缩放防止FP16下溢。scaler torch.cuda.amp.GradScaler() for inputs, targets in train_loader: optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs model(inputs) loss criterion(outputs, targets) scaler.scale(loss).backward() scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) scaler.step(optimizer) scaler.update()这里的关键是scaler.unscale_()要在梯度裁剪之前调用否则裁剪的是缩放后的梯度数值不对。另外如果遇到梯度溢出scaler.step()会跳过这次更新这是正常行为不用慌。6.2 分布式训练中的优化器同步在DDPDistributedDataParallel模式下每个进程有独立的优化器实例但梯度会在反向传播时自动同步。所以优化器的超参在每个进程上必须一致否则更新会不同步。有一个容易忽略的点学习率调度器在分布式下要确保所有进程同步更新。如果调度器依赖验证集指标而验证只在主进程做那其他进程的调度器状态可能不一致。解决方案是用torch.distributed.broadcast把主进程的调度器状态广播出去或者直接用基于步数的调度器如Cosine避免依赖指标。7. 我个人的优化器调参心得调优化器这件事说到底就是在收敛速度和最终精度之间找平衡。Adam类优化器帮你快速到达一个不错的点SGD类优化器帮你在这个点附近找到更平坦的极小值。我的习惯是先快速试错再精细打磨。具体来说新任务上手时我会用AdamW加Cosine调度跑一个基线学习率设3e-4weight_decay设0.01。如果基线效果可以接受再尝试换SGDMomentum看能不能提升泛化。如果基线就不行那问题大概率不在优化器而在数据或模型结构上。还有一个经验不要频繁换优化器。每次换优化器都意味着重新调学习率和调度策略成本很高。先把一个优化器调透再考虑换。我见过太多人在这上面浪费时间最后发现是数据标签有问题。最后分享一个小技巧如果你不确定weight_decay设多少可以先设为0跑一轮看训练集和验证集的差距。如果差距很大说明过拟合逐步加大weight_decay如果差距很小但两者都高说明欠拟合应该减小weight_decay或增加模型容量。这个判断方法比盲目试参快得多。