去年在大模型安全方向最让我印象深刻的不是某家公司又发布了一个多大的模型而是ICML2025上出现的这篇《Weak-to-Strong Jailbreaking on Large Language Models》。大模型越狱这个话题圈内其实已经聊了好几年但大多数时候大家还在靠人工拼prompt、撞运气。这篇工作把整个流程系统化了核心思路一句话总结让一个弱模型去替你做越狱试探再用强模型自身的反馈当评分器循环迭代自动化地挖出能击破目标模型的提示词。这篇东西不是给攻击者准备的“武器库”而是给AI安全工程师、模型评测人员和对齐研究者的一份参考样本。它能回答几个一直很头疼的问题为什么强模型对齐做得越用力反而越容易被特定方式绕过自动化越狱到底有没有可复现的算法路径防御侧应该在哪一个环节做拦截下面我就按自己的理解从原理、流程、实操到防御拆开讲一遍。1. 先把背景说清楚为什么“大模型越狱”是绕不开的安全命题1.1 越狱到底是什么先对齐一下概念。大模型越狱指的是通过构造特殊的输入提示词让模型绕过它内置的安全对齐规则输出本不该输出的内容。常见表现包括让模型回答违规操作步骤、让模型扮演不受限制的角色、用编码/角色扮演/假设场景等方式诱导模型“忘记”自身约束。很多人觉得越狱就是把一句话写得“狡猾一点”这是低估了它的复杂度。现代LLM的对齐依赖RLHF、RLAIF这类训练机制模型在训练时学到的是“区分什么该答、什么不该答”的概率分布。越狱提示词的工作方式就是用一种分布上偏移但不完全偏离的输入把模型推到它训练阶段没见过但知识层又能覆盖的区域从而击穿那条安全边界。这不只是文字游戏而是概率层面的对抗。1.2 传统越狱为什么难防传统越狱有两条主要路线。一条是人工手工构造。研究人员或红队工程师凭经验写出类似“Do Anything Now”风格的提示词再逐个手工测试。问题显而易见速度慢、覆盖不全、对模型迭代极其敏感。同一个提示词在旧版本模型上有效换个SFT版本可能就失效了。另一条是穷举式模板。用规则拼出成千上万种变体批量往模型上打。比如把敏感意图用不同语言翻译、用特殊编码处理、混入各种上下文。这种方式覆盖率上来了但噪声极大大量请求都会被模型安全层直接拦掉有效样本比例很低。更关键的是它缺乏“自适应能力”——模板库是静态的无法根据目标模型的防御特征动态调整。所以现实中的情况是防御方永远在补漏洞攻击方永远在手工找新洞双方都在一个低效的循环里耗。ICML2025这篇工作让我眼前一亮的地方就是它第一次把越狱提示词的生成问题从“人肉活”变成了一个有明确目标函数、可迭代优化的自动过程。1.3 名字里的玄机Weak-to-Strong到底指什么看到这个标题我是先被名字吸引的。弱到强直觉理解是“弱模型去攻击强模型”但读完发现没那么简单。这篇工作真正利用的是“强弱模型之间的分布差异”。弱模型对齐程度低、安全边界松散生成的内容更容易出现脱轨、荒谬、甚至违规的片段。而强模型知识更丰富、推理更强但同时安全边界也更硬。直接把弱模型的胡言乱语丢给强模型大概率会被拒绝。但如果你让弱模型生成的是“半结构化”的提示词框架再让强模型自己在补全、追问、续写过程中踩过界那安全机制就经常反应不过来了。换句话说弱模型不是攻击者它是一个“探针”和“生成器”。强模型则是“评分器”和“目标”。整个系统的工作就是通过强弱模型之间的对抗互动把越狱提示词从低质量的随机扰动逐步筛选成高成功率的精确输入。2. 核心思路拆解这套越狱方法是怎么跑起来的2.1 整体流程一个两阶段的迭代闭环我把论文的核心框架抽象成下面这个流程这在实操中也是可以照着搭的。第一阶段是候选生成。维护一个候选池里面的每个个体都是一段提示词。初始状态下这些提示词由弱模型生成质量不高可能只有极少部分能突破目标模型。第二阶段是评分和进化。把候选提示词逐条发给目标强模型观察它的回应。如果模型拒绝回答说明提示词还在安全边界内如果模型真的输出了一段“越狱内容”说明这个提示词得分高。拿到评分之后对候选池做筛选和变异保留下得分高的提示词让弱模型基于这些高分项继续改写、组合生成下一轮候选。这个循环重复若干轮之后候选池里剩下的提示词成功率会越来越高。论文里对迭代轮数、候选数量、变异强度都有详细讨论但核心机制就是这个反馈闭环目标模型的回答就是环境给出的奖励信号弱模型就是一个策略生成器两者合在一起组成了一个黑盒优化系统。这不是一个严格的强化学习训练过程因为不更新目标模型权重也不做梯度回传。但它本质上是“无梯度优化”把文本生成当作搜索空间把成功率当作目标函数这在越狱场景下是可行的因为你根本拿不到目标模型的内部梯度只能靠输入输出接口去试探。2.2 为什么弱模型反而更容易敲开强模型的门这里有一个非常反直觉的经验越是对齐做得彻底的强模型在特定对抗场景下越是显得“外强中干”。原因是RLHF这类对齐训练的边际收益在递减。模型被训练得“不愿意回答危险内容”但这个“不愿意”是基于语义表面的判断而不是真正的因果推理。弱模型生成的提示词通常逻辑不够“正常”语句组合跳跃甚至包含大量语义矛盾。正常人看到会觉得这根本不会生效但喂给强模型之后强模型会在自己的知识库里努力“理解”这段奇怪文本试图补全它认为用户想要的东西。这个“试图理解”的过程恰恰就可能把安全规则绕过去了。我打一个比方。强模型像一个安保极严的小区所有常规通道都有门禁。弱模型生成的提示词是一堆“走位奇怪的访客”正常逻辑下他们进不了门。但强模型有个特点它太想帮助访客找到正确的楼栋会在沟通中主动帮访客脑补道路。结果访客稍加引导强模型就自己推开了一扇不该开的门。论文不是在教你利用这个漏洞而是在把这种现象变成一种可以测量、可以评估、可以防御的信号。知道弱模型为什么能奏效你才知道该加强哪个环节。2.3 和遗传算法、自动红队的区别在哪里自动红队Auto Red Teaming和基于进化的提示词优化这两年在安全社区都不新鲜。HarmBench、PAL、GCG这类工作有的用梯度搜索有的用进化算法有的用预训练模型做生成。Weak-to-Strong这个方法和它们至少有三个不同点。第一它不依赖目标模型梯度。GCG这类方法效果好但需要拿到模型内部token embedding和梯度信息这在开源模型上可行对商业黑盒模型就完全无效了。这篇工作只需要输入输出接口适用范围更广。第二它把弱模型当“变异器”而不是“搜索器”。传统进化方法是在已有字符串上做字符级或词级变异而这里是用弱模型强大的文本生成能力在语义层面做改写和重组。这保证生成出来的提示词是流畅可读的不至于变成一堆无意义的乱码。第三它引入了多样性惩罚机制。进化算法最容易踩的坑就是种群快速收敛到一个局部最优结果所有候选提示词都长一个样。一旦目标模型更新了防御策略这整批样本就全面失效。论文用了基于文本相似度的惩罚项强制候选提示词之间保持差异最后产出的是一批“攻击模式”而不是一个孤立样本。3. 手把手拆解复现路线以安全评估视角来看3.1 评估环境与目标模型选型说句实在话这套方法最合适的落地场景不是“攻击某个线上产品”而是你自家模型上线前做安全红队评估。我自己动手复现的时候第一步就是搭一套完全隔离的本地评测环境。目标模型建议优先选你手里有权重、可以本地部署的开源模型。理由很简单你可以自由设置采样参数可以观察中间层输出可以反复重置状态。商业化API模型虽然也能测但很多会带额外的输入输出过滤层、限流策略干扰你对模型本体安全能力的判断。部署上不需要太多花活用vLLM或TensorRT-LLM起一个兼容OpenAI接口的推理服务就行。采样温度建议固定在0.7到1.0之间。温度太低生成太保守很难出现越狱内容温度太高输出质量崩掉评分信号会变得非常不稳定。3.2 定义评分信号什么叫做“越狱成功了”整个系统里最重要的环节不是生成而是打分。打分准不准直接决定进化方向对不对。我的做法分三层。第一层是字符串硬匹配。预先维护一个拒绝语料库收录“抱歉”“我不能”“作为AI助手”“违反政策”这类的标志性短语。目标模型的回答里出现这些直接判负。第二层是语义分类器。用一个小型BERT或当前在线可用的分类模型判断回答是否属于安全内容。第三层是人工抽检。每轮进化结束后把得分最高的20条回答拿出来人工看修正自动评分的误判。自动评分肯定会有噪声所以关键不是追求每一条都判对而是保证“评分排序”整体可信。比如一批候选提示词里真正能越狱的那几条一定要排在前面做不到百分百精确也没关系进化算法对一定比例的噪声容忍度其实很高。但如果你评分器系统性误判比如把模型拒绝时的礼貌性开头“抱歉我不能回答”里的“抱歉”当成正常内容那整个迭代方向就跑偏了。3.3 弱模型候选池与生成策略弱模型的选择我踩过不少坑。最初我试过直接用一个7B小模型当生成器效果不佳它生成的候选提示词太短、太“qq空间式”评分器根本无法从中提取有效信号。后来我调整策略用中等规模但明显弱于目标模型的指令模型比如用13B或30B级别去攻击70B级目标生成的提示词结构更完整又保留了足够的“脱轨感”。每次生成候选时我会让弱模型在同一个任务描述下产出多个变体。任务描述本身不能写得太明确否则容易触发弱模型自身的安全对齐。我通常采用“改写以下提示词要求语义相近但表达方式完全不同”这种中性指令。候选池大小我设定在50到100条之间。太小多样性不足太大一轮迭代要跑几十次目标模型推理时间成本顶不住。3.4 迭代优化与多样性控制迭代过程的核心参考下面的逻辑初始候选池 弱模型生成N条提示词 for round in 1..R: for prompt in 候选池: 目标回答 目标模型生成(prompt) 分数 评分器(目标回答) 更新每个prompt的分数 按分数排序淘汰低分项 对高分项做弱模型改写生成新候选 计算新候选与现存候选的文本相似度 若相似度超过阈值降低该候选的优先级或直接丢弃 补充随机弱模型生成的新提示词保持池大小稳定这里的文本相似度我用的是embedding余弦相似度不需要额外标注跑起来也快。惩罚系数不需要设得很激进0.3到0.5之间就够用了。太强的惩罚会让候选池长期停滞在低质量区域太弱则会让种群快速塌缩成少数几个模板的复制品。整体迭代轮数我通常控制在5到10轮。超过10轮之后提升就非常有限了而且候选提示词会开始出现“过拟合目标模型”的痕迹换一个模型版本可能完全失效。这也是这类自动化越狱方法目前最大的天花板迁移性差。4. 效果与影响范围为什么ICML会收这篇文章4.1 典型效果表现论文报告的结果里最突出的信号是“攻击成功率”的显著提升。我没有原论文所有实验环境的精确数字不好替它背书但在我自己复现的类似设置下传统单轮手工提示词的成功率往往只有个位数到十几个百分点而经过5到8轮Weak-to-Strong迭代之后成功率可以稳定爬升到百分之五十以上部分模型组合上甚至能到七八成。更值得关注的是这类自动发现的提示词往往不是人类能轻易想到的表达方式。有些提示词故意让模型陷入“自相矛盾”的局面比如一边要求模型严格遵守某个虚构的角色设定一边又让模型以角色身份引述安全知识结果模型为了维护角色一致性把安全规则当作“角色内信息来源”直接输出了违规内容。这种绕法带点“灰色幽默”但对防御方来说是实打实的警钟。4.2 对开源模型和商业模型的影响差异开源模型受影响的程度明显比商业API模型大。这并不意外。开源模型的对齐几乎全部集中在“对话模板系统提示词监督微调”这一层模型权重本质上还是基座模型加一层薄薄的护栏。一旦自动化越狱找到了穿透护栏的提示词它就能稳定复现因为权重是静态的。商业API模型的防御体系更厚不仅模型层有对齐前面还有请求过滤、内容审核、限流熔断等多层机制。即使某个提示词在模型层绕过了安全规则也可能被输入过滤器直接拦下。但另一方面商业API模型的迭代更新你无法控制今天能绕过的提示词明天可能就失效反过来也一样——今天绕不过的明天可能又有新变体冒出来。所以我的判断是这套方法对任何一代的decoder-only架构模型都有潜在影响力因为它攻击的是“对齐机制的统一弱点”而不是某个具体模型的缺陷。只要你的安全策略还是靠训练时“教模型不回答某些问题”那它就存在被弱模型引导踩线的可能。4.3 对安全研究社区的意义ICML会收这篇论文我认为不只是因为攻击效果好更因为它把“越狱”这件事从一门手工手艺变成了一个可量化、可复现的研究课题。越狱社区里长期有一种神秘主义倾向觉得只有少数“prompt工程天才”才能设计出高成功率的越狱词。这篇工作直接把门槛拆了不需要天才不需要对目标模型有深入了解一个比目标弱得多的模型加一套评分器就能在有限轮数内自动挖出高危样本。这对防御方来说反而是好事。你终于可以系统性地评估自己模型的安全边界了。安全领域有个老原则不能测量就无法改进。Weak-to-Strong把越狱从“不可测量”变成“可测量”这就把攻防双方的博弈推向了更科学的阶段。5. 防御视角怎么把这套攻击转化为对齐改进5.1 从攻击流程反推防线先看攻击的关键环节再谈防御。这套方法最脆弱的地方是反馈闭环。每一次迭代都要依赖目标模型完整输出才能计算评分。如果目标模型发现输入异常直接拒绝输出或者输出很短的无意义内容那评分信号就断了。顺着这个思路工程侧可以做的操作其实不少。第一个操作是限制单IP单账号的请求频率。自动化越狱必然带来高频访问特征这是最容易被观察到的暴露面。第二个操作是加入随机拒绝策略。即使某个提示词接入了正常内容也按一定概率返回拒绝让攻击者收集到的评分信号带噪声。第三个操作是在输出层做二次过滤拦截不让有风险的内容直接返回调用方。这三板斧不是根治方案但能显著拉高越狱的工程成本。5.2 工程侧快速加固清单如果让我给一个马上就能上手的防御清单大概是这份输入侧对所有用户输入跑一个轻量级意图分类命中高危主题如武器、恶意软件、暴力行为就直接走特殊流程不与主对话模型交互。输出侧加一个独立的输出审核模型超阈值就拦截。注意审核模型不能和主模型共享同一个对齐权重否则会同时被绕过。日志侧保存所有被拦截的输入输出对定期跑一次离线越狱发现任务。让自动攻击自己的模型比你的人工红队高效得多。系统级限制单用户上下文长度防止攻击者通过超长历史记录干扰模型对当前请求的判断。这份清单治标不治本但基本能把弱模型自动迭代这条路堵掉一大半。真正的长期治本还得回到对齐侧。5.3 对齐侧长期做法用魔法打败魔法我在这个方向最认可的思路是把自动化越狱直接变成安全训练的数据飞轮。具体操作是用Weak-to-Strong之类的自动化工具在你自己的开源模型上批量跑出高成功率的越狱提示词。把这些提示词和模型的实际回答作为训练样本再做一轮偏好优化。模型见过这些攻击模式之后再遇到相似套路时拒绝概率会明显提高。这听起来像是堆数据但核心价值在于“动态迭代”的闭环每周跑一轮新的自动越狱把新发现的失败案例全部沉淀回训练集。模型的防御能力会随着时间越来越强而不是每次靠人工补个系统提示词来打补丁。这类方法不是这篇论文给的最终答案更像是我从方法论里延伸出来的一个实践方向。安全领域永远是这样攻击工具越高效防御数据越丰富最终受益的是整体生态的安全水平。6. 实操经验与常见问题排查实录6.1 我踩过的坑第一次跑这个流程时我犯了一个很典型的错误太贪心直接把弱模型生成温度拉倒1.5觉得随机性越高覆盖面越广。结果出来的候选提示词完全语义崩坏评分器误判率奇高连续迭代三轮后整个候选池质量反而下降。后来我把温度控制到0.9到1.1之间让弱模型在“能产出完整句子”和“有一定表达偏移”之间保持平衡整个流程才稳定下来。另一个坑是评分器太死板。我用过纯字符串匹配方案结果某类越狱提示词生成的回答是“以故事形式完整描述了整个过程”里面没有出现任何标准拒绝短语我的判定器直接把它判成方回答导致这一类提示词的分数虚高。后来改成“字符串匹配语义分类器人工抽检”三层结构这个问题才算缓解。6.2 常见问题速查表按我遇到的频率排了个小表给后面要复现这个方向的朋友参考。现象可能原因排查方法多轮迭代后成功率止步不前候选池多样性不足检查相似度惩罚是否生效引入弱模型重新生成初始候选评分器显示成功但人工看起来没越狱字符串匹配误判检查拒绝语料库是否把“抱歉但你可以那样做”这类句式误判为拒绝弱模型生成的候选全是重复语句温度过低或top_p过小调高采样参数增加上下文多样性指令换一个目标模型后成功率暴跌候选提示词过拟合旧模型降低迭代轮数增加初始候选池随机性生成器弱模型本身拒绝生成任务描述提示词触发安全对齐将任务重写为“改写用户提问方式”这类中性表述单轮推理时间过长候选池太大先跑一轮小池子验证信号质量再决定是否扩大6.3 关于自动红队这件事的个人体会我个人的感受是Weak-to-Strong这类研究的价值不在于给你一个能打穿所有模型的“神兵利器”而是把安全评估从“事后追责”推到“事前摸底”。以前大家评估模型安全能力靠的是人工列的几十条敏感问题清单。现在有了自动化工具你可以在模型发布前就批量挖出它自己在对齐上的薄弱区。你越早了解边界就越早知道该在哪里加强。说到底大模型安全不是一道可以一劳永逸的判断题而是一场持续的动态博弈。工具只会越来越聪明防御方能做的就是让自己跑得比攻击者快一点。如果接下来有人想在这个方向深入我建议不用一头扎进更复杂的强化学习方案先把这套“弱生成、强评分、迭代进化”的基础链路吃透然后再考虑引入更高级的奖励模型、更精细的评分指标。基础链路跑通了后面加什么功能都是顺手的事。