智能体A/B测试：两套prompt线上比效果
调 prompt 调到最后，两个版本谁好谁坏，你拍脑袋是分不出来的。我以前总觉得"改得更详细的那版肯定更好"，上线一对比，啪啪打脸——啰嗦版的用户满意度反而低。想知道哪套 prompt 真的好，只能让它们在线上真实流量里比一场。
A/B 测试和灰度不是一回事
先澄清个常被混的概念。灰度是"新版安不安全"，目的是控风险，比例从小到大爬。A/B 测试是"A 和 B 谁更好"，目的是选优，两版各占一半流量长期跑，比的是效果数据。一个求稳，一个求优，别搞混。
我的一次真实对比
背景：一个写文案的智能体，我有两套 prompt。
A 版：指令短，给模型很大自由度。
B 版：指令长，列了七八条格式要求和语气约束。
我把流量五五开，按用户 ID 哈希分桶，跑了一周。比的指标是"用户是否采用了生成结果"（点了复制/使用按钮算采用）。
结果出乎意料：
A版（自由） | B版（严格） | |
采用率 | 61% | 48% |
平均字数 | 短 | 长 |
重新生成次数 | 低 | 高 |
B 版约束太多，模型被框得死板，输出千篇一律，用户反而不爱用。直觉再次失灵。要不是真跑了 A/B，我铁定上线 B 版。
做 A/B 必须守的几条
分桶要稳定。同一用户始终看同一版，否则体验割裂、数据也脏。还是哈希取模那套。
指标先定死。开跑前就说清楚拿什么判输赢（我这次是采用率）。别跑完了再挑对自己有利的指标，那是自欺欺人。
样本量要够。我第三天看 A 领先就想叫停，忍住了。第五天 B 一度追平，要是早停就误判了。跑满一周数据才稳。
一次只改一个变量。两版别同时改 prompt 又改模型，赢了你也不知道是谁的功劳。
一个没做好的地方
我这次没控制好"问题类型分布"。A、B 两桶里用户问的问题难度其实不完全均衡，事后想想，采用率的差距里可能掺了点噪声。严谨的做法是按问题类型分层再比。下次注意，这次的结论我打了个折扣信。
怎么跑的
我是在一个零代码就能搭智能体、自带效果测评的平台上做的：入口按用户 ID 分两桶，分别挂 A/B 两套 prompt，采用率这类指标平台能直接出。底层两版用的同一个模型，模型 API 我接的讯飞星辰 MaaS，现成调用，保证比的是 prompt 本身、不掺模型差异。
记住：你的直觉不是数据，让流量替你做裁判。