ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

LLM 业务级可观测

LLM 业务级可观测

monitoring-agent 说全绿,用户却炸了:redis / postgres / 网关都活着,但本月 LLM 账单翻三倍,且回答质量肉眼下滑。组件级健康监控(《系统健康监控巡检》)管不了"业务维度"的健康——组件活着 ≠ 服务健康。

核心论点

传统组件健康看不到 LLM 特有的 golden signal(黄金信号):token 成本、P99 延迟、回答质量退化。LLM 平台的可观测要分两层:组件活着(《系统健康监控巡检》)只是地基,token / 延迟 / 质量这三盏灯才是"服务还健不健康"的答案。

组件健康 vs 业务健康:两个维度

维度回答的问题谁负责
组件健康谁挂了、影响面多大《系统健康监控巡检》拓扑矩阵
业务健康花了多少、慢不慢、答得对不对本篇(LLM 平台专属)

三大 golden signal(LLM 专属)

signal含义为什么重要
token 流速与成本突增单位时间 token 消耗异常往往先于账单暴露浪费或循环调用
P99 延迟(99 分位延迟)绝大多数请求都比它快均值掩盖长尾,P99 才反映真实体感
质量退化幻觉率上升、偏离预期格式、答非所问最隐蔽也最伤体验

数据从哪来:网关已埋点,监控侧聚合

数据源职责
网关层Langfuse 链路(追问链路)+ Prometheus 指标(token/延迟)业务信号源头
监控侧在组件矩阵外另建"业务级看板"聚合这些信号不重复《系统健康监控巡检》存活矩阵

决策:数据源在网关(唯一出口),聚合在监控,职责边界和《系统健康监控巡检》一致。

⚠️ Langfuse 存完整对话,是最大 PII 落点之一——按《合规护栏》跨平面原则,trace导出前必须经脱敏引擎脱敏(完整跨平面处置见《合规护栏》总表),否则网关在模型侧的脱敏白做。

质量退化怎么发现(组件探针做不到)

方法实现
在线 eval / 抽样打分对回答做自动化质量评估
用户反馈回路踩/赞、纠错作为质量信号回灌

决策:质量不是"通不通",是"好不好",只能靠评估与反馈,不能靠探针。

与告警 / 自愈联动

信号处置衔接篇
成本突增触发预算熔断《成本治理与限流》
质量退化触发降级或人在回路《自动操作回复与自愈闭环》(安全边界)

价值:业务信号不是看完板,是驱动《系统健康监控巡检》/《自动操作回复与自愈闭环》的处置动作。

业务级告警规则(已落地)

规则触发条件级别
GatewayCostSpike5m 速率 > 2×1h 基线P2(与《成本治理与限流》预算联动)
GatewayP99LatencyHighP99 > 10s 持续 5mP2
GatewayLoopStorm循环熔断 >1/s 持续 5mP2(联动《自动操作回复与自愈闭环》)
GatewaySafetySurge注入拦截+治理异常 >0.5/s 持续 10mP3
可用性服务失联P1

业务级看板(6 面板)

请求速率 / P99 / token 速率 / 循环 / 缓存命中 / 安全拒绝。

延迟/成本/循环面板分别复用《系统健康监控巡检》/《成本治理与限流》/《自动操作回复与自愈闭环》已注册指标;告警 expr 即看板面板查询,确保"看得到就能告警"。

核心要点

  • LLM 平台的可观测要分两层:组件活着(《系统健康监控巡检》)只是地基,token / 延迟 / 质量这三盏灯才是"服务还健不健康"的答案。
  • 三大 golden signal:token 流速与成本突增、P99 延迟、质量退化——均值掩盖长尾,P99 才反映真实体感。
  • 数据源在网关(唯一出口),聚合在监控,职责边界和《系统健康监控巡检》一致。
  • 质量不是"通不通"是"好不好",只能靠在线 eval + 用户反馈回路,不能靠探针。
  • 业务信号不是看完板,是驱动《系统健康监控巡检》告警与《自动操作回复与自愈闭环》自愈的处置动作。
返回列表