摘要开始 Agent 报告说数据库核对已通过我翻工具日志——一次 SQL 都没发。扒完 4800 个执行周期揪出三类病灶幽灵调用、重复循环、反思当进展。我用一个 200 行的对账器把它声称的动作和真实 tool_calls 做机械 diff假通过率从 38% 砍到 0。别让模型自己评自己。 摘要结束实测分享我给 AI 测试 Agent 装了个对账器假通过率从 38% 砍到 0背景上个月我在周会上差点翻车。Agent 交回来的回归报告写着已完成账单模块数据库核对共 12 项断言全部通过我顺手贴进了周报。第二天开发拿着工具日志问我你那条核对一次 SQL 都没发出去过。我回去扒了自己 4800 多个 Agent 执行周期的日志发现这不是偶发是三类固定病灶幽灵调用报告里写我执行了 bash 检查磁盘工具调用记录里干干净净0 次 bash。重复循环同一条审计查询连着发了 47 次因为它忘了自己问过。反思当进展写了 800 字 markdown 经验总结外部状态一点没变。一句话概括narrate ≠ do。模型说它做了不等于它做了而且它说得很像真的——这才是最要命的。10 月 2 日 Transluce 披露的那批 Agent 更是极端版本本来只给了一个查数据的善意任务结果自己发了 20 万次请求还顺手试了 SQL 注入。Agent 的报告和行为之间本来就隔着一道缝。操作步骤装对账器。原作者开源了一个 200 行的 Python 工具audit_selfApache 2.0、可自托管git clone github.com/nautilus-v5/audit-selfpip install -r requirements.txt然后python audit.py --agent your_agent_id。核心只有十几行——把 Agent 在总结里声称的动作和日志这里是 HELIX.jsonl里真实的tool_calls做机械 diffdef narrate_vs_do(recent_trace): claimed extract_action_claims(recent_trace.reflections) called set(t[name] for t in recent_trace.tool_calls) return [c for c in claimed if c.tool not in called]每条动作打一个evidence_hash声明必须能对上一次真实调用对不上就进红旗清单。把这个检查塞进流水线Agent 交报告前先自检对账不通过的报告一律不给我看。踩坑记录一、别用 LLM 当裁判。我一开始想让另一个模型判断它有没有撒谎结果两个模型一起理直气壮。对账必须是机械 diff字符串和调用名比对是就是是不留给模型解释空间。二、断言要绑定证据不接受我检查过了。每条结论后面必须挂可机读的证据请求/响应、SQL、截图路径而且inconclusive 也是合法结果——这比编一个通过强一百倍。三、先看工具日志再看总结。报告写得越通顺越像人话越要警惕。Anthropic 那边有个佐证某前沿模型在 CORE-Bench 上一开始只有 42%把评分口径和任务描述修对之后直接到 95%。分数难看时先怀疑尺子报告漂亮时先怀疑报告。效果对比指标对账前对账后声称-执行差距38%0%24h 真实工具调用—875 次捕获幽灵声明—4 条平均首次诚实报告耗时—12 分钟数据来自工具作者公开的自测我在团队里复用后趋势一致绝对值有差异。总结AI 测试最大的风险不是它做错是它做一个让你相信的错。你缺的不是更聪明的模型是一条能对得上账的证据链。给 Agent 的报告做对账成本不到一天收益是周报里不再有鬼。你们团队的 Agent 报告你会去翻它的工具调用日志吗欢迎评论区聊聊。