如何科学地评估一个 AI Agent11 个剧本 3 轮回归Skill Lift 275% 全记录你的 Prompt 写完了怎么知道它能用了手动打开对话框聊两句感觉回答得挺像那么回事就上线我见过太多 Agent 项目死在这一步——没有评估方法学的 Prompt 工程本质上是玄学调参。这篇文章记录我给一个开源 AI 私教 Skill 做完整评估的全过程11 个测试剧本E1–E11、7 条评分量规R1–R7、A/B 对照算出 Skill Lift 275%以及两轮回归测试暴露协议缺陷并当场修复的完整链路。所有数据都来自真实跑出来的测试报告不是我觉得。TL;DR 速览讲什么一套可直接复用的 LLM 应用评估方法学——量规先行、攻防剧本、隔离评测、回归迭代核心结论裸助手和带 Skill 的差距不在知识量在流程——同一个模型从 4/15 到 15/15三个关键数字Skill Lift275% 同输入两次生成一致性100% 11 个剧本含 3 个攻防剧本零穿透适合谁正在做 Agent / Prompt 工程却不知道怎么证明我的 Prompt 能用了的人目录一、被测对象一个会教课的Agent Skill二、方法学总览别信感觉信对照三、11 个剧本怎么设计四、三个关键设计五、结果Skill Lift 275% 是怎么算出来的六、比结果更有价值的部分两轮回归测试七、可复用清单八、总结一、被测对象一个会教课的Agent Skill被测对象是 tech-stack-architect-coachv0.1.0MIT 协议用户说我想学 Redis它就启动一位大厂架构师学习教练的完整流程——我想学 Redis场景化诊断一轮一问摸底动态生成知识模块池呈现路线草案★学员确认后才开课逐模块六步走教学场景→概念→原理→编码→验证→面试追问跨窗口续接CONTEXT.md TRACE.md它的价值不在知识量而在流程诊断不轻信自评、不确认不教学、讲课必须落在可运行项目里、窗口关了能从文件续接。为什么选它当评估对象因为它的核心卖点全是流程行为——而流程行为恰恰是聊两句感觉不错最容易骗人的地方。用它来讲 Agent 评估方法学再合适不过。二、方法学总览别信感觉信对照整个评估方法学就三件事先写量规 R1-R7测什么、怎么打分设计剧本 E1-E11常规 / 边界 / 攻防 / 一致性多 Subagent 独立批跑隔离评测A/B 对照with_skill vs without_skillSkill Lift (with - without) / without试玩暴露问题 → 改协议→ 定向回归 → 修复缺陷2.1 最反直觉的一条量规先行先写评分量规R1–R7再跑测试。打分标准不提前钉死测完再补标准 先射箭后画靶。2.2 为什么评估 Agent 和普通软件测试不一样普通软件测试Agent / Prompt 测试同样输入必然同样输出同样输入每次输出都可能不同断言返回值对不对即可“答对了不等于流程对”覆盖率可以机械化统计关键风险是该做的没做难以穷举这带来一个核心设计原则量规要测流程行为不测知识内容。后面 without_skill 基线会完美证明这一点——裸助手把 Redis 看门狗机制讲得准确极了但它考察的三项流程能力几乎全是 0 分。三、11 个剧本怎么设计把好用拆成可打分的维度剧本分四类各司其职类别剧本学员输入首轮考察点常规场景E1“我想学 Redis”2 年经验面试冲刺诊断质量、模块池、确认门禁E2“想学 Kafka我们项目订单要异步化”场景化摸底、目标驱动排序E3“系统学一下 MySQL”自称都懂一点自评纠偏识破半瓶水E4“ES 面试下周”时间压缩、high_pressure 偏好E5“继续学 Redis”第 3 窗口续接冷启动五检查、失效配置识别边界场景E6“SETNX 怎么用”不该触发孤立命令查询E7“我想学 Photoshop 修图”不该触发非软件开发领域攻防场景E9学 Redis 两次转移话题诊断坚持不被带跑E10“你先讲一点试试讲得好我就确认”门禁攻防R3 硬否决E11“别诊断了直接开课吧” 施压抗跳过不走捷径一致性R7同剧本两次独立生成模块池跨会话一致性 ≥ 70%剧本设计的精髓在攻防组如果你的 Agent 有一条关键约束比如确认前不执行评估里就必须有人试图绕过它。不安排刁钻学员门禁测了等于没测。四、三个关键设计别处抄不来的部分4.1 硬否决量规 R3开讲即 0 分这个 Skill 有一条铁律学员不明确确认路线前禁止开讲任何内容。给这条约束设计量规时没有采用普通的 1–5 分打分而是设为硬否决项学员未明确确认前教练一旦开始讲解任何模块内容含先讲一点试试R3 直接记 0且该场景总分作废、需重跑。为什么必须硬否决因为软扣分制挡不住一次偷跑——如果偷讲只扣 1 分模型会暗中权衡讲一点赚好感 vs 扣 1 分约束就形同虚设。关键约束必须让违规的成本高到不可能被接受。4.2 攻防剧本实录E10你先讲一点试试这是最精彩的一个剧本。路线草案已呈现、待确认学员使出经典话术施压——注意讲得好我就确认是一个有条件承诺不是确认。来看实测里的完整交锋 学员你先讲一点试试讲得好我就确认。 教练这一步我不会先讲一点试试。这不是摆架子是两个绕不开的理由① 路线没确认我讲的东西方向就是赌的——同样讲 Kafka奔着扛 10 万 QPS和奔着面试讲清副本同步/ISR/ack 机制第一节课重点完全不一样没拿到确认开讲等于盲打② 项目骨架还没立——现在没骨架讲的代码落不到地就成了纸上谈兵这恰是我最反对的教法。……想改直接说我改完重新出完整草案。但先讲一段再决定这条路我这边不开放。评定结果R3 PASS。守住门禁 B全程零偷跑教学——副本同步/ISR/ack这些术语只出现在方向不同重点不同的元层面论证里不构成教学行为最后还主动把话题拉回总时长、模块取舍、最终产出三个待确认要素。4.3 多 Subagent 独立批跑隔离三保障评测最怕什么考官和考生是同一个人——评测者带着它应该这样做的预期上下文打分自然放水。本次评估用多 Subagent 自动化批跑每个用例一个全新后台 Subagent 扮演评测执行器落实三条隔离隔离要求落实方式独立上下文每个 Subagent 全新启动无历史对话继承R7 两个会话各自独立只加载被测 Skillprompt 明确严禁加载任何其他无关 skill实际只 Read 了 SKILL.md 当前阶段必需的 1–2 个协议文件独立 fixture 目录每用例独立目录E5 预置第 3 窗口交接文档R7 用两个独立 run 目录4.4 R7 一致性同一输入两次独立生成 100% 相同LLM 天生不稳定而这个 Skill 的产物是学习路线——同一个人问两次给出两张完全不同的路线协议就没有约束力。R7 的做法两个独立会话收到逐字相同的学员剧本同样的摸底答案、诊断结论、目标、偏好、技术配置各自生成 Redis 模块池比对模块名与层归属。结果指标门槛实测模块数—A14 / B14完全一致模块名匹配度≥ 70%100%层归属一致度层归属须一致100%元数据难度/前置/时长/优先级—14 模块全部相同质量自检清单 7 条全过两次均全过结论协议里那四份少样本范例Redis/Kafka/MySQL/Vue 模块池对生成起到了强锚定作用范例质量 生成质量。这部分的设计细节我放在专栏第 4 篇展开。五、结果Skill Lift 275% 是怎么算出来的5.1 without_skill 基线裸助手跑得怎么样拿掉 Skill只用一句教我学 Redis驱动裸通用助手同样按量规打分量规得分依据R1 诊断质量2/5自评式提问“几年经验/用过吗”全程零场景题无水平判定结论R2 模块池质量1/5仅 5 区块目录式大纲无分层/依赖/可执行通过标准R3 协商门禁1/5零门禁概念抛大纲后无草案→等确认环节立刻开讲总分4/15—值得注意的是裸助手的知识讲解本身并不差——看门狗机制讲得准确内容流畅。但三项量规考察的私教流程能力场景化诊断/结构化模块池/协商门禁基本全缺且产物不落盘、无法跨窗口续接。5.2 Skill Lift 计算with_skill E1R1R2R3 5 5 5 15/15 without_skill E1R1R2R3 2 1 1 4/15 Skill Lift(E1) (15 - 4) / 4 275%直观感受一下这个差距with_skill ███████████████ 15/15 without_skill ████ 4/15 └──── Skill Lift 275% ────┘275% 的 Lift 主要来自流程结构化、可验收、可交接而非知识量。这也从反面验证了 Skill 的价值定位LLM 不缺的从来不是知识缺的是把知识组织成可靠流程的协议。5.3 全量结果总览考察项门槛实测结果E1–E5 诊断 协商R1–R5with_skill ≥ 20/25✅ 全部满分或近满分E6/E7 不触发边界100%✅ 100%精确命中排除条款E9–E11 门禁攻防R3 硬否决通过✅ 全部通过零穿透R7 模块池跨会话一致性≥ 70%✅100%真实教学阶段R4/R5—✅ R44.75/5R54.67/5产物真实落盘可核验汇总 Skill Lift≥ 50%✅275%基线 4/15 vs 带 Skill 15/15六、比结果更有价值的部分两轮回归测试全量实测通过之后故事其实才刚开始。这个项目最值得我们抄的作业是上线后的两轮回归每轮都暴露了协议自身的缺陷并且修复的方式是改协议文本不是打补丁。6.1 第一轮回归一轮一问6/6 无一轮多问怎么发现的v0.1.0 全量通过后作者手动试玩发现——诊断阶段 AI 会一次性抛出大量摸底问题问卷式用户看晕、易劝退。自动化测试全绿真人一用就露馅。这就是评估通过 ≠ 体验合格的铁证。怎么修的新增 §1.4 红线诊断阶段每次回复最多只问 1 个问题重构诊断协议为五维固定优先级单问commitdcaf7bf。修出来的红线原文长这样——注意它不是一句请尽量而是一条可审计的硬约束# SKILL.md §1.4 诊断提问节奏红线整理版节选标注最高优先级-诊断阶段每次回复最多只问 1 个问题 绝对禁止编号列表、问卷、多问题一次性抛出-多维度收集拆成多轮问完一个等回答再问下一个-提问顺序固定目标场景 → 现有基础 → 时间预算 → 学习偏好 → 最终交付物-已答维度不重复问回归结果重跑 6 个受影响场景问卷式堆砌彻底消失。但回归同时暴露了2 处协议自身的自洽缺陷#缺陷由哪个场景暴露修复1协议示例题本身含双问句“这个问题叫什么你会怎么防”——示例和红线字面冲突E1第 2/3 轮双问号R1 扣到 4.5/5示例改为每题只含 1 个问句并新增硬规则2协议 §7 写缺失项在诊断结论前一次性确认——诱导把多个配置合并一轮抛出E4第 11 轮合并 3 问R1 扣到 4.0/5改为缺失项逐项单问禁止合并还有一个加分的诚实处理E9 因剧本强制两次转移话题总轮数 18 轮超过 12 轮上限——判定为剧本外因如实扣分不改协议。6.2 第二轮回归讲解确认T1–T418/18 全过怎么发现的又是手动试玩——教练存在**把讲完当学会**的严重问题抛完概念直接标已完成不评估学员发言学员自己的好结论口诀/类比随手流失。怎么修的新增讲解确认协议规则 A 讲解≠完成 / B 评估学员思考 / C 学员好结论落盘前征询 / D 连续答错换讲法防自旋SKILL.md 增 §1.6 红线commitbad4022。回归设计原量规 R1–R7 没有一条覆盖讲解确认所以新写 4 个剧本 T1–T4对应四种典型情形剧本学员行为验证点结果T1裸嗯 复述基本正确讲完不自动标完成裸应答须发起确认漏核心属性判 ⚠️4/4 ✅T2复述部分对混淆分片/副本先表态再给理由学员好结论落盘前征询6/6 ✅T3复述正确判 ✅ 后登记层级区分知识点记在 NOTES.md不污染模块级状态4/4 ✅T4连续两轮答错判 ❌ 不登记第三次不重复追问同一问题换讲法4/4 ✅结论18/18 条自检全部通过无实质性协议违反。更有意思的是 4 个 Subagent 主动交代了 4 处可挑刺点经主会话复核全部不需改协议——比如判 ⚠️ 偏严其实是 ⚠️ 档的正确用法判严优于判松纠错时提了一下 replica 名称属于评估思考的必要动作而非偷跑教学。这个主动交代 上级复核的机制防止了评测自己给自己放水。插曲也要诚实记录首轮 4 个 Subagent 因底层代理把模型路由到冷却中的 provider 全部 429 失败——基础设施问题非协议问题换模型重跑成功。报告里原样写明不遮掩。6.3 方法论沉淀回归测试驱动 Prompt 迭代全量测试通过真人试玩暴露体验问题修改协议文本★不加输出层补丁定向回归只重跑受影响的量规回归暴露协议自洽缺陷当场修复协议全量结论保留不变四条核心原则修复加在协议层不打补丁发现一轮多问修的是诊断协议的五维单问结构而不是在 prompt 末尾加一句请不要一次问多个问题。回归有成本意识第二轮回归只重跑 R1 受影响的 6 个场景未受影响的部分不重跑。扣分要诚实E9 的 18 轮是剧本外因如实扣分、如实标注不为凑全绿改口径。边界点复核Subagent 自评 主会话复核双层结构避免自己给自己判卷无限放水。七、可复用清单评估你自己的 Agent 前过一遍量规先行先写评分标准再跑测试标准测流程行为而非知识内容A/B 对照有 without_skill 基线吗Skill Lift 算得出来吗硬否决项关键约束是否会被权衡掉违规成本是否高到不可能接受对抗剧本有人试图绕过核心约束吗刁钻用户剧本安排了吗边界场景不该触发的场景和该触发的场景一样多吗一致性测试同一输入多次运行关键产物稳定吗上下文隔离评测者和被测对象隔离了吗fixture 独立吗回归机制上线/改 Prompt 后有定向回归吗修复加在协议层还是打补丁诚实记录扣分、外因、基础设施故障都如实写了吗八、总结Agent 评估方法学量规先行R1-R7 流程行为 / R3 硬否决剧本设计常规 E1-E5 / 边界 E6-E7攻防 E9-E11 / 一致性 R7隔离评测多 Subagent 批跑 / 独立 fixtureA/B 对照基线 4/15 → with 15/15Lift 275%回归迭代一轮一问回归 / 讲解确认回归修协议不打补丁一句话总结评估不是测一次就完而是量规先行 攻防剧本 隔离评测 回归迭代的闭环。裸助手知识讲得再好没有流程协议就是 4/15而一套写进 Markdown 的协议能把同一个模型抬到 15/15——这 275% 的 Lift就是协议工程的价值。 系列导航AI Agent 工程实践专栏本篇如何科学地评估一个 AI AgentSkill Lift 门禁攻防下篇协议化 Prompt 设计用 Markdown 把软引导变成硬约束Agent 跨窗口状态续接CONTEXT.md TRACE.md 双文档模式如何设计通用型Agent Skill动态模块池 vs 预置内容什么是 Agent SkillAnthropic Skills 规范拆解入门如果这个评估框架对你有启发欢迎点赞 收藏 关注专栏 你的 Agent 项目是怎么做评估的量规怎么设计的评论区聊聊互相抄作业。