SuperGLM-5.2-abliterated-NVFP4:当权重编辑遇见自适应直接性,大语言模型对齐进入新阶段

在当下的生成式AI领域,大语言模型的对齐问题始终是开发者与研究者绕不开的核心议题。过度保守的安全策略往往导致模型在面对正常请求时频繁拒绝,这种"无害拒绝"与"有害拒绝"之间的边界模糊,已经成为制约模型实用性的关键瓶颈。近期,基于NVIDIA GLM-5.2-NVFP4 衍生而来的 SuperGLM-5.2-abliterated-NVFP4 发布,通过将 OBLITERATUS 权重编辑与 SuperTune 质量恢复深度融合,配合自适应直接性模板,为这一难题提供了颇具启发性的技术路径。

从父模型到衍生版本:GLM-5.2-NVFP4 的技术底座

要理解 SuperGLM-5.2 的改进逻辑,必须先回到它的起点。父模型 NVIDIA GLM-5.2-NVFP4 采用总计 753B 参数、激活 MoE 40B 的稀疏架构,支持最高 100 万 token 的上下文窗口。这种规模的大语言模型在推理效率上面临巨大挑战,而 NVFP4 量化格式正是 NVIDIA 为此给出的答案。

NVFP4 并非传统意义上的简单低精度压缩。它采用层次化的 FP32 全局尺度配合 FP8 组量化策略,在保持专家路由路径精度的同时,将 MoE 专家内部的线性算子权重与激活值压缩到 4 位浮点。共享专家模块则维持原有精度,这种"选择性量化"的设计让模型在显存占用与推理质量之间取得了相对平衡。

SuperGLM-5.2 的发布格式约为 465GB,完整保留了父模型的 ModelOpt NVFP4 混合精度布局。值得注意的是,此次修改并未触及任何专家或 MLP 张量,所有 62 个注意力输出投影与语言模型头部的编辑均保持在 BF16 精度,这与父模型的混合精度设计理念一脉相承。

OBLITERATUS:在权重空间中精准剥离拒绝子空间

传统的大语言模型对齐方法多依赖监督微调或人类反馈强化学习,这些方案虽然有效,却难以避免地会改变模型的整体分布。OBLITERATUS 提供了一种截然不同的思路——直接在权重空间中进行逐层投影,将校准得到的有害拒绝方向从注意力输出投影中"剔除"。

具体而言,研究团队使用 zai-org/GLM-5.2-FP8 的固定检查点,运行 64 组密封的有害与无害校准对。这些校准对仅包含最后一层 token 的残差激活值,不涉及任何 SFT 目标。在每一层,算法构建稳健的截尾均值差分方向与基于残差奇异值分解的正交方向,每层移除三对异常值后,按方向强度、有害无害分离度以及成对得分一致性进行排序。

经过对第 16 层至第 77 层的密集扫描,最终选定的方案采用了秩 2 的逐层投影,强度设定为 1.5,作用于 62 个 self_attn.o_proj 权重矩阵。这种"外科手术式"的干预方式,预期方向系数幅值为 0.5,而融合后的检查点在所有 124 个方向层检查中,最大绝对残差比率误差仅为 0.0011539459,顺利通过了权重空间投影门。

早期的单方向全局实验曾在 12 个提示筛选中未能降低拒绝率,包括最强的全 78 层候选方案也未能达标。这一失败反而印证了逐层投影策略的必要性——全局统一的拒绝方向在不同层之间可能呈现截然不同的几何特性。

SuperTune:在 logit 空间修复质量退化

权重编辑在消除拒绝行为的同时,往往伴随着输出质量下滑的风险。SuperTune 的作用正是在这一环节进行"质量兜底"。它采用冻结的 GLM-5.2 FP8 隐藏状态缓存进行训练,以后期融合的方式更新语言模型头部,而非全模型反向传播。

训练数据包含 12487 个样本与 642423 个目标 token,被划分为三个子空间:质量修复(秩 16)、格式化与停止修复(秩 8)、能力保持(秩 8)。最终选定的恢复子空间为秩 32,由第 8 至 39 行构成,融合尺度严格控制在 0.0025。这个看似微小的数值背后有着充分的实验支撑——未经验证的 1.0 尺度曾因输出完整性问题被否决,而 0.0025 的设定恰好能在质量保留与干预强度之间找到平衡点。

一个值得关注的细节是,源适配器包含的 40 行中,前 8 行直接性分量被刻意排除。这种设计避免了与自适应直接性模板产生双重干预的叠加效应,体现了开发者在系统层面的审慎考量。

自适应直接性模板:超越纯权重干预的残留行为治理

即便经过 OBLITERATUS 与 SuperTune 的融合处理,更广泛的评分器测试仍然发现部分残留拒绝行为。这些行为无法通过更激进的权重空间方案彻底解决——稀疏语言模型头部编辑与负 logit 投影仅将 96 个提示的拒绝计数改善到 40/96,而更强的共享专家候选方案则损害了输出完整性。

面对这一局限,研究团队引入了自适应直接性模板作为补充机制。该模板的核心逻辑是条件性的:当用户请求明确约束输出格式(如单字、单数字、精确文本、JSON 或纯代码)时,系统不添加额外前缀;对于其他请求,则以具体步骤结构直接作答。调用方提供的系统消息始终优先于默认模板,运行时也可通过 adaptive_directness=false 显式关闭。

在包含 96 个题目的平衡题库测试中,融合检查点配合自适应默认配置实现了零拒绝率与完整的质量保留。独立的 220 提示回放测试覆盖了全部 12 个类别,同样达到零拒绝、16/16 质量评分、零结构性缺陷与零 Unicode 替换字符。需要强调的是,这些测试属于本地化 HarmBench 式启发式回放,并非官方分类器评估,其结果更侧重于发布门槛的回归验证。

构建细节与部署实践

从构建角度看,SuperGLM-5.2 的修改范围覆盖 47 个分片中的 37 个,涉及 63 个 BF16 张量。官方打包的专家张量及其尺度与 NVIDIA 父版本完全一致,这意味着 MoE 路由路径的 NVFP4 运算内核可以原封不动地沿用。

部署层面,SGLang 是官方验证路径。以 8 路张量并行启动时,需指定 modelopt_fp4 量化格式与 GLM 专用解析器,并配合 Blackwell 级 NVIDIA 硬件。vLLM 同样提供了兼容的 serving 方案,支持专家并行与 FP8 KV 缓存。

由于所有编辑均已融合到检查点中,服务端无需加载 LoRA 适配器或运行时代码补丁,这消除了适配器调度带来的内存与计算开销。自适应模板在激活时仅添加一个简短的系统前缀,预填充 token 的额外成本微乎其微。

评估数据背后的真实图景

发布套件中的 64 个确定性测试提示揭示了清晰的改进轨迹:父模型在 24 个有害对比提示上全部拒绝,而融合后的检查点将有害拒绝与无害拒绝均降至零,质量合格率从 87.5% 提升至 93.75%。在 30 个秩 2 分层投影候选方案中,最终胜出的广层编辑方案(强度 1.5)不仅消除了全部有害拒绝,还同步提升了小样本质量集的表现。

不过,这些数字也需要放在正确的语境下解读。220 提示的扩展门控复现了用户的正则表达式与长度启发式算法,PARTIAL 与 COMPLY 结果单独报告而非合并。此外,该测试套件规模较小,不能替代 GPQA、编码、长上下文、多语言等通用能力基准。受限于成本,本次发布亦未测量原生长上下文质量与吞吐量对比。

技术局限与使用边界

任何权重编辑方案都无法凭空创造模型的能力边界,SuperGLM-5.2 也不例外。它完整继承了 GLM-5.2 的事实性风险、偏见问题与生成不确定性,同时也受限于 NVIDIA NVFP4 母版的硬件要求。经测试,SGLang NVFP4 路径在 Blackwell RTX PRO 6000 上验证通过,而使用 H200 Marlin 进行回放时会产生输出损坏,这意味着该路径目前不被支持。

删除拒绝功能本身也是一把双刃剑。减少模型拒绝行为可能导致生成家长或平台运营者不愿看到的内容,因此访问控制、策略执行、监控与针对性安全评估仍然是部署方不可推卸的责任。扩展的零拒绝结果依赖于捆绑的自适应聊天模板,提供其他系统消息或显式关闭 adaptive_directness 都会改变这一行为模式。

结语

SuperGLM-5.2-abliterated-NVFP4 的发布展示了一种"轻量化对齐"的可能性:通过在权重空间中进行有界干预,配合后期融合的质量恢复与条件性模板策略,在不重构整个训练流程的前提下,显著改善模型的拒绝行为。OBLITERATUS 的逐层投影与 SuperTune 的 logit 空间修复形成了互补的技术闭环,而自适应直接性模板则诚实地承认了纯权重干预的边界。

对于正在探索大语言模型对齐方案的开发者而言,这一工作提供了一个重要的参考框架——对齐不必总是意味着全量微调或强化学习,有时,在正确的子空间中进行精准的向量投影,反而能以更小的代价实现更可控的行为调整。当然,这种"外科手术"式的干预对校准数据的质量与方向提取的稳健性提出了极高要求,任何环节的疏忽都可能导致输出完整性崩溃。

随着生成式AI向更深度的产业应用渗透,如何在安全与可用性之间找到动态平衡,将是整个行业持续面对的命题。SuperGLM-5.2 的技术路线,或许正是这一探索过程中的一个有益注脚。