目录零、前言一、 核心理念致敬 Glowroot基于 Local 底座的“智能截流”二、 架构师的权衡为什么用 HTTP 击穿 ClassLoader 隔离墙三、 拒绝“一刀切”极其严谨的分层评估模型四、 性能底线异步分发与“防告警风暴”机制五、 给“告警”做监控绝对白盒化的自检大盘六、结语闭环然后无限迭代七、相关零、前言在本专栏前面发布的 《放弃 Prometheus用 RRD4j 打造纯本地“微型时序库”》 中我们正式迈入了极简监控的深水区。面对深水区我们当时罗列了三大演进方向告警机制Alert业务层指标收集前端体验与 SOP 串联。为什么我们最终拍板优先把精力投入到“告警机制Alert”的闭环上因为作为研发团队我们需要一个“内部可控的极速闭环”。业务指标和 SOP 串联牵扯到前端、测试、甚至产品等多团队协作见效慢而告警机制我们可以先在测试环境下静默记录自己人内部排错对用户毫无感知。今天就带大家看看我们是如何汲取 Glowroot 的精髓用极其巧妙的“骚操作”打通探针与业务层壁垒的。一、 核心理念致敬 Glowroot基于 Local 底座的“智能截流”在前文介绍 Glowroot 时我们极度推崇它的存储哲学绝不记流水账只抓刺客如果把所有的 SkyWalking Trace 链路都持久化或告警不仅磁盘吃不消报警群也会变成无人问津的“狼来了”。因此我们的 Alert 机制完全复刻了 Glowroot 的思路只针对「慢请求」和「错误链路」进行评估、拦截与推送告警。但请特别注意能够实现这一目标的绝对前提是我们已经彻底打通了 《极简模式下 JVM 监控与链路追踪落地思路 (SkyWalking-Local)》 这个底层基座|熟悉 APM 源码的同学都知道原生 SkyWalking 的数据发送是“碎片化”的探针一生成 Segment 就会立刻向远端 OAP 发送Agent 根本不知道这条 Trace 的最终总耗时。|而我们魔改的SkyWalking-Local砍掉了 OAP让数据在 Agent 内部的本地内存logfileStatMap中完成了 Segment 的组装与合并。|正是因为拥有了这个“本进程链路已合并完成”的前提我们的探针才真正具备了“上帝视角”能够对当前 JVM 产生的完整链路进行统一的耗时计算与异常评估。|可以说如果没有SkyWalking-Local这个极其扎实的前置底座这种媲美 Glowroot 的“本地智能截流告警”根本无从谈起整体交互时序图如下入库/告警TraceAlertController(业务层代码)HttpTraceAnomalyListenerAsyncTraceAlertDispatcherTraceEvaluatorlogfileStatMapLogFileTraceSegmentServiceClientSkyWalking 插件埋点业务请求入库/告警TraceAlertController(业务层代码)HttpTraceAnomalyListenerAsyncTraceAlertDispatcherTraceEvaluatorlogfileStatMapLogFileTraceSegmentServiceClientSkyWalking 插件埋点业务请求alt[HTTP 2xx][非 2xx / IO 异常]alt[未命中慢/错规则][命中 SLOW 或 ERROR]产生 TraceSegment1consume(segment)2mergeLogIntoStatMap(traceId)3合并后 TraceSnapshot4结束5提交异步任务同 trace 同类型去重6onTraceAlert(TraceAlertEvent)7解析 webhook_url / WebPort8POST JSONtraceId, alertTypes, logs...9handle(TraceAlertRequest)10successCount11failureCount12二、 架构师的权衡为什么用 HTTP 击穿 ClassLoader 隔离墙要把 Agent 探针层捕获到的慢/错 Trace 数据推送到我们的应用业务层去处理入库或发企微面临着一个史诗级的技术壁垒ClassLoader 隔离。懂点 APM 底层的人都知道SkyWalking 运行在独立的AgentClassLoader中。最初我们设想按官方规范走 SPI 机制ServiceLoader。但经过推演我们发现这是个维护灾难业务方写的 SPI 实现类会被打进 Spring Boot 的 Fat JAR 中而 Agent 根本扫描不到它如果非要走 SPI业务团队就必须额外维护一个“瘦 Jar”模块每次部署还要手动拷进 Agent 的plugins/目录下这彻底违背了我们“极简单一制品”的底线。极简架构师的破局之道放弃 SPI转投 Webhook既然我们在做“单体应用”那宿主 IP 永远都是127.0.0.1啊我们直接选择了一条极其返璞归真的路内部 HTTP 回调。Agent 发送端当拦截到慢/错误 Trace 时Agent 内部直接发起一个极其轻量的 HTTP POST 请求打向配置好的本机业务端口如http://127.0.0.1:8080/inner/sw/trace-alert。业务接收端业务系统中暴露一个普通的RestController接口。零类加载器污染业务逻辑 100% 留在了 Spring Boot JAR 内想怎么查库、怎么发钉钉业务团队完全自主掌控。相关 Agent 端开源实现见我们仓库的logfile-reporter-plugin模块GitHub 传送门三、 拒绝“一刀切”极其严谨的分层评估模型到底什么是“错”什么是“慢”只有写过一线业务的人才知道这里的规则如果“一刀切”告警群立刻会变成无人问津的“狼来了”。为了保证每一次告警都是“有效情报”我们在 Agent 端设计了一套极其严密且灵活的分层判定模型TraceEvaluator1. 关于“错”的三级雷达L1/L2/L3L1协议层直接扫描协议只要任意一个 Span 的isError true探针内置识别到的严重异常立刻捕获。L2HTTP 层很多业务异常探针无法直接判定为 Error。我们会扫描 Entry Span 的 Tags一旦发现http.status_code 500强制捕获。L3自定义层预留规则允许按 operationName、url 正则等自定义匹配。2. 关于“慢”的动态覆盖支持 URL 正则匹配我们将合并后的 Trace 取其 Entry Span 算出精准耗时durationMs。并借鉴了 Glowroot 的思路在配置中支持了极细粒度的动态规则覆盖。比如默认全局慢请求是 3 秒但如果是复杂的导出接口我们可以配置match_url_regex.*/export/.*阈值放宽到 60 秒。不仅配置极度灵活而且匹配优先级遵循正则 组件 全局彻底杜绝了无意义的误报骚扰。四、 性能底线异步分发与“防告警风暴”机制把告警做出来不难难的是在海量并发的生产环境下告警机制绝不能反噬拖死 SkyWalking 自己的数据处理线程。为此在 Agent 的 Dispatcher分发器底层我们硬核植入了两个保护机制单线程隔离调度HTTP 的发送绝不会阻塞 SkyWalking 原本的DataCarrier消费线程。我们在内部创建了一个单线程的ExecutorService结合有界队列专门负责发送 Webhook哪怕业务端接口短暂卡死也绝不影响 Agent 的核心主链路采集。ConcurrentHashMap 精准去重在一个包含几十个 Segment 的庞大 Trace 中如果发生了 5 个异常绝不能给业务端发 5 条重复告警我们利用ConcurrentHashMaptraceId, AlertState作为去重位图。系统确保同一条 TraceID 下的同一类型异常ERROR|SLOW有且仅会通知一次将告警风暴彻底扼杀在 Agent 的内存里。五、 给“告警”做监控绝对白盒化的自检大盘作为一个负责任的基建团队当我们引入了一个“内部 HTTP 异步分发机制”时我们必须回答一个问题这个分发机制自己会不会挂有没有丢数据一如既往我们坚持“可观测性至上”借助前端页面将底层的HttpTraceAnomalyListener运行状态彻底白盒化。请看下方我们利用 AI 快速构建的 Web 监控大盘这套大盘的含金量在哪全局状态了如指掌运维人员或研发打开页面一眼就能看到一共分发了多少次告警被去重跳过了多少次HTTP 投递成功率是不是 100%动态配置透明化当前生效的慢请求阈值如 3000ms、Webhook 解析地址清清楚楚。数据怎么来的正如使用说明里指出的业务层通过统一的 Toolkit 入口SWLogfileXxUtils.statisticStatus().traceAlert直接跨越鸿沟从 Agent 内存中拉取这些极其珍贵的自监控统计指标。六、结语闭环然后无限迭代打通了这条 Agent 到业务层的任督二脉我们的 Alert 流程宣告彻底闭环。这套方案没有引入 Kafka没有引入庞大的规则引擎。我们用一个127.0.0.1的内部 HTTP 调用就解决了探针报警的数据流转问题。现阶段业务侧收到告警后我们先执行“静默日志记录Log Only”。在测试环境跑一段时间验证阈值的精准度。下一阶段我们将根据试运行情况开启有选择性的持久化写入数据库或发送企微通知。七、相关【极简监控】告别 OAP 与 ES一个 Agent 搞定全链路与 UI探秘单体 APM 界的“核潜艇” Glowroot【专栏导读】拒绝过度设计零运维成本打造单体Java应用的“铁桶级”极简监控体系【极简监控】告别沉重的OAP一款专为单体应用打造的 SkyWalking 轻量级本地化 Reporter 插件
