1. 参数空间切分到底在解决什么问题大模型训练这件事外行看热闹内行看显存。很多人第一次接触LLM训练时最直观的感受就是模型大得离谱显存永远不够训练速度永远比预期慢。但真正做过一段时间之后你会发现显存只是表象底层真正卡住你的是参数空间的利用效率。什么叫参数空间你可以把它想象成一块巨大的农田。传统训练方式是把整块田一次性翻一遍不管这块田里哪片土壤肥沃、哪片是盐碱地全都用同样的力度去犁。结果就是肥沃的地方可能被过度翻耕贫瘠的地方又没得到足够关注。对应到LLM训练里就是所有参数共享同一个学习率、同一个更新策略、同一个优化器状态但实际上不同层、不同模块、甚至同一层内不同方向的参数它们对最终loss的贡献差异是巨大的。这就是“divide parameter space”这个思路要解决的核心问题把参数空间按照某种有意义的维度切开对不同区域采用不同的训练策略。这件事听起来简单但真正落地时会遇到一堆工程和算法上的取舍。我最近花了不少时间在这个方向上做实验踩了不少坑也总结出了一些能直接抄作业的方案下面完整拆解一遍。先明确一下适用人群如果你正在做7B以上规模的模型微调或预训练显存吃紧、训练效率上不去、loss曲线总是卡在某个平台期那这套思路对你直接有用。如果你只是跑跑小模型做demo可以先收藏等规模上来之后再回来看。2. 参数空间切分的核心思路与方案选型2.1 为什么不能一刀切地训练所有参数要理解切分的必要性先得理解LLM训练中参数的实际行为差异。我拿一个13B模型做过统计在标准预训练过程中embedding层的梯度范数和最后几层transformer block的梯度范数能差出两个数量级。这意味着什么如果你用同一个学习率去更新要么embedding层更新太慢学不动要么后面几层更新太猛直接发散。更细一点看即使在同一层内部attention的Q、K、V、O四个投影矩阵的梯度分布也完全不同。Q和K负责计算注意力权重V负责信息传递O负责输出投影。实际训练中V和O的梯度通常比Q和K更稳定而Q和K在训练初期波动极大。传统做法是给整个模型设一个全局学习率再靠warmup和gradient clipping硬扛但这本质上是用工程手段掩盖了参数空间本身的不均匀性。注意这里说的梯度差异不是理论推导是我在实际训练日志里逐层打印grad norm观察到的。不同模型架构会有差异但整体趋势一致。2.2 切分维度的选择按层、按模块还是按方向切分参数空间有几个主流维度每个维度背后的逻辑和适用场景不一样。按层切分是最粗粒度的做法。典型方案是底层用较小学习率、顶层用较大学习率因为底层学的是通用特征顶层学的是任务相关特征。这个思路在BERT时代就有但放到LLM上需要调整因为LLM的层间差异比BERT大得多。我的经验是对于预训练底层和顶层的学习率比例可以设到1:3左右对于微调这个比例可以拉到1:5甚至1:10。按模块切分更细一些。把attention模块、FFN模块、LayerNorm参数、embedding层分别对待。FFN模块参数量通常占整个模型的2/3但梯度稀疏性也最高适合用较大的学习率配合稀疏更新。Attention模块参数少但影响大适合用较小学习率精细调整。LayerNorm参数只有两个向量但控制着整个层的输出分布通常需要单独设一个很小的学习率甚至在某些微调场景下直接冻结。按方向切分是最激进的方案也是最近研究比较多的方向。核心思想是不再对每个参数单独更新而是把参数矩阵做奇异值分解对不同的奇异方向采用不同的更新强度。这个方案理论优雅但工程实现复杂显存开销也大目前更适合研究而不是生产。下面这张表是我在实际项目中总结的选型参考切分维度实现难度显存开销适用场景典型收益按层切分低几乎无额外开销预训练、全量微调loss下降快5-10%按模块切分中少量额外状态指令微调、领域适配收敛稳定性提升明显按方向切分高1.5-2倍参数显存研究实验理论收益大落地难混合切分中高中等大规模训练综合收益最佳2.3 优化器状态的分组管理切分参数空间之后优化器状态也需要跟着分组。Adam系列优化器会为每个参数维护一阶矩和二阶矩如果所有参数共享同一个优化器实例那切分就只停留在学习率层面没有真正深入到状态管理。我的做法是给每个参数组创建独立的优化器状态但共享同一个优化器类。具体来说用PyTorch的param_groups机制把不同组的参数分开传入优化器每组可以独立设置lr、betas、eps、weight_decay。这样做的好处是不同组的二阶矩估计不会互相干扰对于梯度尺度差异大的参数组自适应学习率的效果会更好。代价是显存。每个参数组独立维护状态意味着优化器状态的总量不变但分组之后PyTorch的内部实现可能会有一些额外开销。实测下来分组数量控制在5-8组比较合适再多的话管理复杂度上升收益递减。3. 核心细节解析与实操要点3.1 参数分组的具体策略分组不是随便分的得有依据。我通常按以下流程操作第一步跑一个短的warmup阶段大概100-200步记录每个参数组的梯度范数均值和方差。这一步的目的是拿到数据而不是训练模型。第二步根据梯度统计做聚类。梯度范数接近、方差接近的参数归为一组。实际操作中不需要跑复杂的聚类算法按层和模块的天然边界分就够了因为同一层同一模块内的梯度统计通常比较接近。第三步为每组设定学习率。基准学习率设为全局的1倍然后根据梯度范数做缩放。梯度范数大的组学习率调小梯度范数小的组学习率调大。缩放系数我一般控制在0.3到3之间超出这个范围说明分组不合理需要重新调整。# 参数分组示例 param_groups [ {params: model.embed_tokens.parameters(), lr: base_lr * 0.3}, {params: model.layers[:8].parameters(), lr: base_lr * 0.5}, {params: model.layers[8:24].parameters(), lr: base_lr * 1.0}, {params: model.layers[24:].parameters(), lr: base_lr * 1.5}, {params: [p for n, p in model.named_parameters() if norm in n], lr: base_lr * 0.1}, ] optimizer torch.optim.AdamW(param_groups, betas(0.9, 0.95), weight_decay0.1)提示LayerNorm参数的学习率一定要小我试过用全局学习率去更新LayerNorm训练到中期loss会突然抖动排查了很久才发现是norm参数更新过猛导致输出分布偏移。3.2 梯度裁剪的分组处理全局梯度裁剪是标准操作但切分参数空间之后全局裁剪会有一个问题某个组的梯度特别大时会把所有组的梯度都缩掉导致梯度小的组几乎不更新。解决方案是分组裁剪。对每个参数组单独计算梯度范数单独裁剪。裁剪阈值可以统一设也可以根据组的梯度统计动态调整。我通常用统一阈值因为动态调整容易引入额外超参调起来麻烦。具体实现时要注意PyTorch的clip_grad_norm_默认是对所有参数一起算的需要手动按组调用。代码大概长这样for group in optimizer.param_groups: torch.nn.utils.clip_grad_norm_(group[params], max_norm1.0)这个改动很小但效果很明显。我做过对比实验分组裁剪相比全局裁剪在13B模型上loss能多降0.02左右别小看这个数字在大模型上已经是很可观的提升了。3.3 学习率调度的分组适配学习率调度也需要跟着分组走。传统cosine schedule是对全局学习率做衰减分组之后每个组的基础学习率不同但衰减曲线可以共享同一个形状。我的做法是定义一个全局的调度因子范围从1衰减到0.1然后每个组的实际学习率等于该组基础学习率乘以调度因子。这样既保持了调度的统一性又保留了组间的差异。warmup阶段需要特别注意。不同组的warmup步数可以不同梯度大的组warmup长一些梯度小的组warmup短一些。但为了简化实现我通常统一warmup步数靠基础学习率的差异来补偿。4. 实操过程与核心环节实现4.1 环境准备与基线复现在开始切分实验之前必须先有一个可靠的基线。我用的环境是PyTorch 2.1加CUDA 12.1模型是LLaMA架构的13B训练数据是混合后的中文和英文语料序列长度4096batch size通过梯度累积做到512。基线训练跑5000步记录loss曲线、梯度范数曲线、显存占用。这一步不能省因为后面所有对比都要以这个基线为参照。我见过有人直接上切分方案结果loss不降反升最后发现是基线本身就没调好跟切分没关系。基线配置如下参数值全局学习率3e-4优化器AdamWbetas(0.9, 0.95)weight_decay0.1warmup步数500调度器cosine梯度裁剪全局1.0精度bf164.2 分组方案的具体实施基线跑通之后开始实施分组。我按层把模型分成5组embedding、底层0-7层、中层8-23层、顶层24-39层、norm参数。每组的学习率缩放系数分别是0.3、0.5、1.0、1.5、0.1。第一次跑的时候遇到了一个问题顶层学习率放大到1.5倍之后训练到300步左右loss突然飙升。排查发现是顶层的梯度范数本身就不小再放大学习率直接导致更新步长过大。后来把顶层系数降到1.2问题解决。这个坑说明一个事分组学习率的缩放系数不能拍脑袋定必须结合梯度统计来设。我后来的做法是先跑100步warmup打印每组的平均梯度范数然后按范数的反比来设缩放系数再手动微调。4.3 训练过程中的监控与调整分组训练之后监控指标也要跟着细化。除了全局loss我还会记录每组的梯度范数、每组的参数更新幅度、每组的loss贡献。参数更新幅度这个指标特别有用。计算方式是每步更新后计算该组参数的L2变化量除以参数本身的L2范数。这个比值反映了参数更新的相对强度。如果某个组的比值长期接近0说明这组参数几乎没在学如果比值长期大于0.01说明更新过猛可能需要调小学习率。我在实际训练中观察到embedding组的更新幅度通常最小顶层组的更新幅度最大这跟学习率的设置是一致的。但如果发现某组的更新幅度跟预期不符那就说明分组策略需要调整。4.4 完整训练流程与结果对比完整训练跑下来分组方案相比基线有几个明显改善第一loss下降更快。在同样的5000步内分组方案的最终loss比基线低0.03左右。这个差距在训练初期不明显从1000步之后开始拉开。第二训练更稳定。基线的梯度范数曲线有明显的尖峰分组方案的曲线平滑很多。这意味着可以用更大的学习率或者更短的warmup进一步提升训练效率。第三显存占用略有增加。分组之后优化器状态的管理开销增加显存多了大概3%。这个代价可以接受。第四调参复杂度上升。分组方案引入了更多的超参数需要更多的实验来调优。如果算力有限需要权衡收益和成本。5. 常见问题与排查技巧实录5.1 分组之后loss不降反升怎么办这是最常见的问题。原因通常有三个分组学习率设置不合理、分组梯度裁剪阈值不当、优化器状态分组后betas不匹配。排查顺序是先检查学习率把分组学习率全部设回全局值看loss是否恢复正常。如果恢复说明是学习率问题逐步调整各组的缩放系数。如果没恢复检查梯度裁剪把分组裁剪改回全局裁剪。还没恢复的话检查优化器的betas设置确保每组用的betas跟基线一致。我遇到过一次特殊情况分组之后loss在前200步正常之后突然发散。最后发现是某一组的weight_decay设错了比其他组大了一个数量级。这种低级错误在手动配置param_groups时很容易犯建议用配置文件管理每组参数不要硬编码。5.2 如何判断分组是否合理分组合理性的判断标准有两个组内梯度统计的一致性组间梯度统计的差异性。具体操作是训练100步后打印每组的梯度范数均值和标准差。如果某组的标准差比均值还大说明组内参数行为差异大需要进一步细分。如果两组之间的均值差异小于20%说明这两组可以合并。我一般会把分组数量控制在5-8组。太少的话切分效果不明显太多的话管理成本高而且每组的数据量少梯度统计不可靠。5.3 显存不够时的取舍策略分组会增加显存开销如果显存本来就紧张需要做取舍。优先级排序是先保证embedding和norm分组这两组的学习率跟其他组差异最大分组收益最高。然后是顶层和底层分组最后是中间层细分。如果显存实在不够可以考虑只做学习率分组不做优化器状态分组。也就是所有参数共享一个优化器实例但通过param_groups设置不同的学习率。这样显存开销几乎为零但收益也会打折扣。5.4 常见问题速查表问题现象可能原因排查方法解决方案loss不降反升学习率设置不当恢复全局学习率对比调整缩放系数训练中期发散某组更新过猛检查各组更新幅度调小该组学习率某组参数几乎不更新学习率过小或梯度被裁剪打印该组梯度范数调大学习率或裁剪阈值显存溢出分组过多检查优化器状态占用减少分组数量收敛速度变慢分组过细对比基线收敛曲线合并相似组梯度范数尖峰分组裁剪阈值不当对比全局裁剪调整裁剪阈值注意分组方案不是万能的。如果基线本身就没调好分组只会让问题更复杂。先把基线调到合理水平再考虑切分。6. 参数空间切分的扩展思路6.1 与LoRA等参数高效方法的结合参数空间切分和LoRA这类方法并不冲突反而可以结合。LoRA的本质是在原始参数旁边加一个低秩增量训练时只更新增量。如果把LoRA的增量也做分组不同层的LoRA用不同学习率效果会更好。我试过在LoRA微调时对底层LoRA用0.5倍学习率顶层用2倍学习率相比统一学习率最终效果有提升。这个思路可以进一步扩展到其他参数高效方法比如prefix tuning、adapter等。6.2 动态切分训练过程中调整分组静态分组是在训练开始前定好的但训练过程中参数的行为会变化。训练初期梯度大的组到后期可能变小。动态切分就是根据训练过程中的统计量定期调整分组和学习率。这个思路理论上更优但实现复杂度高而且频繁调整分组会破坏优化器状态的连续性。我目前的建议是如果训练步数在1万步以内静态分组就够了如果训练步数超过5万步可以考虑在中期做一次重新分组。6.3 切分粒度与模型规模的关系模型越大参数空间的不均匀性越明显切分的收益也越大。7B以下的模型切分收益有限可能不值得增加的管理复杂度。13B到70B的模型切分收益比较明显。100B以上的模型切分几乎是必须的因为全局统一学习率很难让所有参数都训练充分。这个规律背后的逻辑是模型越大层间和模块间的功能分化越明显参数的行为差异也越大。小模型各层功能相对同质统一学习率的问题不突出。我个人在实际操作中的体会是参数空间切分这件事核心不是算法有多复杂而是对模型训练行为的观察要足够细致。你得知道哪些参数在学什么、学得快还是慢、更新猛还是弱然后才能做出合理的切分决策。工具和框架只是辅助真正的功夫在观察和判断上。