模型评测体系：平均分高不代表线上好用
模型评测体系：平均分高不代表线上好用
一、评测要贴近真实任务
模型评测最容易落入平均分陷阱。一个模型在公开 Benchmark 上分数很高，不代表它在你的业务里好用。业务场景可能有特定术语、噪声输入、格式要求、风险约束和用户偏好。评测体系必须从真实任务出发，而不是只看通用榜单。
评测集应覆盖正常样本、边界样本、困难样本和攻击样本。比如客服摘要任务，要包含短对话、长对话、多轮冲突、用户辱骂、缺失上下文和敏感信息；代码生成任务，要包含可编译性、边界输入和安全风险。只评估干净样本，线上一定会翻车。
二、评测链路：离线指标和线上反馈闭环
flowchart TD A[真实样本采集] --> B[脱敏与标注] B --> C[离线评测] C --> D[人工抽检] D --> E[灰度上线] E --> F[线上反馈] F --> A评测指标要分层。结构化任务可以用准确率、召回率、格式合法率；摘要任务可以看信息覆盖、事实错误、冗余程度；对话任务可以看解决率、拒答合理性、用户满意度；Agent 任务还要看完成率、工具错误率和平均步骤数。一个总分很难解释问题。
三、评测函数：先把输出合法性检查掉
下面是一个简化的 JSON 输出评测函数。格式不合法时，后续语义评测没有意义。
import json def evaluate_json_output(raw: str, required_keys: list[str]) -> dict: try: data = json.loads(raw) except json.JSONDecodeError: return {"valid": False, "reason": "invalid_json"} missing = [key for key in required_keys if key not in data] if missing: return {"valid": False, "reason": f"missing_keys:{missing}"} return {"valid": True, "data": data}自动评测可以提升效率，但不能完全替代人工。尤其是事实性、语气、风险判断和业务可用性，经常需要人工标注。可以用模型辅助评审，但关键样本仍要有人工标准答案。评测模型本身也会偏，不能把它当绝对裁判。
四、上线判断：稳定性比单点高分更重要
上线前要看分位数和坏例。模型平均分提升 3%，但在某类高风险样本上明显退化，可能不能上线。比如医疗、金融、法律和运维处置类任务，少数严重错误比大量轻微提升更重要。评测报告应展示分类别结果，而不是只给一个总分。
评测集也要更新。业务变化、用户输入变化、Prompt 变化都会让旧评测集逐渐失效。线上失败案例、人工修改案例和用户投诉，应定期进入评测集。模型评测不是发布前的一次考试，而是持续回归测试。
成本和延迟也属于评测。一个模型效果更好，但响应慢两倍、成本高三倍，未必适合所有场景。可以按任务风险分级：高价值任务用强模型，低风险高频任务用轻模型。模型选型要在效果、成本和延迟之间做取舍。
评测报告还应包含坏例分析。列出模型失败的典型样本，比只展示分数更能指导改进。坏例可以分成事实错误、格式错误、拒答错误、过度推断和安全风险。分类越清楚，下一步是补数据、改 Prompt、换模型还是加规则就越明确。
线上 A/B 也要谨慎。模型回答质量可能影响用户决策，灰度范围、回滚条件和用户反馈入口要提前设计。不要把所有用户都当评测集。
生产落地补充：从能跑到可维护
从生产落地角度看，这类方案不能只停留在主流程。更关键的是把输入校验、失败分支、资源上限和回滚路径提前写清楚。主流程通常容易在演示环境里跑通，真正暴露问题的是异常输入、依赖抖动、并发放大和权限边界。一篇技术方案如果没有解释这些约束，读者很难判断它能否放进真实系统。
评估时建议先定义三类指标：正确性指标、稳定性指标和成本指标。正确性指标回答结果是否可信，稳定性指标回答失败时是否可控，成本指标回答持续运行是否划算。三类指标要同时进入验收清单，不能只用平均耗时或单次成功率证明方案有效。
五、总结
模型评测体系要围绕真实任务建设，既看离线指标，也看人工抽检、坏例、线上反馈、成本和延迟。平均分高不代表线上好用，分场景稳定达标才是关键。