ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

157、Agent的可解释性:决策过程透明

157、Agent的可解释性:决策过程透明 157、Agent的可解释性:决策过程透明上周三晚上,值班告警把我从洗澡间拽出来。线上客服Agent把一个“全额退款”请求执行成了“注销订单”。用户骂到微博,运营姑娘跑到我工位后面盯着屏幕,空气里全是沐浴露和尴尬。我打开日志系统,跪着找了二十分钟,Agent只留了两条记录:一条是用户说“我要退款”,一条是Agent最终回答“已为您注销订单”。中间发生了什么,全是黑箱。那个晚上我意识到一件事:功能再强大的Agent,如果没有决策过程透明性,就是生产环境里的定时炸弹。你只能看到它做了什么,永远不知道它为什么这么做。后来我拆了一遍链路,发现“退款”这个词进到意图模块,被识别为“取消业务”。工具选择器在refundOrder和voidOrder之间,选了一个描述带“打开发单”的工具,结果参数填充又把订单号拿错了。最坑的是,中间那几次模型调用,每次的prompt都不一样:第一个prompt问意图,第二个prompt让选工具,第三个prompt让提取参数。每个prompt都带着不同的上下文,单看任何一次调用都是合理的,串起来就出鬼了。所以可解释性不是事后把模型输出贴出来,而是要把决策过程拆成可观测的片段。至少要有几层东西摆到台面上:模型读到了什么、内部推理路径长什么样、工具调用发生了哪些状态变更、每一步的置信度或分数是多少。下面是我现在给Agent里的每次决策埋的一条“决策轨迹”:# 给agent的每一个step记一条结构化日志,别只记一句话
返回列表