Canal 是阿里巴巴开源的基于 MySQL 数据库增量日志解析的组件主要用于数据库变更数据采集。在生产环境中建立有效的监控体系对保障 Canal 稳定运行至关重要。本文将详细介绍如何构建 Canal 监控体系包括 Prometheus 指标采集、延迟监控以及消费积压告警的实现方案。Canal 监控体系概述Canal 监控体系主要包含三个核心部分指标采集、延迟监控和消费积压告警。指标采集负责收集 Canal 运行状态和性能数据延迟监控关注 Canal 从 MySQL 拉取数据到消费端处理的时间差消费积压告警则检测消费端处理能力不足导致的积压情况。这三部分协同工作形成完整的 Canal 监控闭环确保数据同步链路的健康运行。Prometheus 指标采集实现Canal 自身提供了暴露 Prometheus 指标的接口通过配置 Canal 服务器可以轻松收集相关指标。首先需要在 canal.properties 配置文件中开启指标暴露功能# 开启 Prometheus 指标收集 canal.metrics.exportertrue canal.metrics.exporter.host0.0.0.0 canal.metrics.exporter.port8080然后在各个 Canal 实例的 instance.properties 文件中指定需要监控的实例# 监控的 MySQL 实例 canal.instance.mysql.slaveId1234 canal.instance.master.address127.0.0.1:3306 canal.instance.dbUsernamecanal canal.instance.dbPasswordcanal canal.instance.defaultDatabaseNametest在 Prometheus 配置文件中添加 Canal job 配置scrape_configs: - job_name: canal static_configs: - targets: [localhost:8080] metrics_path: /metrics scrape_interval: 15s关键指标包括canal_binlog_position: 当前 Binlog 位置canal_entries_total: 处理的 Entry 总数canal_entries_processed_total: 已处理的 Entry 总数canal_entries_failed_total: 失败的 Entry 总数canal_delay_seconds: 延迟时间秒延迟监控与消费积压告警延迟监控主要通过比对 Canal 当前消费的 Binlog 位置与 MySQL 主库当前 Binlog 位置来计算延迟时间。在 Prometheus 中可以使用以下表达式监控延迟# 计算延迟秒 rate(canal_binlog_position_offset{instance$instance}[5m]) - rate(mysql_binlog_position_offset{instance$instance}[5m])消费积压告警则关注处理速度与获取速度的差值。可以使用以下表达式检测积压情况# 处理速度与获取速度差 rate(canal_entries_total[5m]) - rate(canal_entries_processed_total[5m])Alertmanager 告警规则配置示例groups: - name: canal-alerts rules: - alert: CanalHighLatency expr: canal_delay_seconds 60 for: 2m labels: severity: warning annotations: summary: Canal instance {{ $labels.instance }} has high latency description: Canal instance {{ $labels.instance }} has a latency of {{ $value }} seconds - alert: CanalConsumerLag expr: rate(canal_entries_total[5m]) - rate(canal_entries_processed_total[5m]) 100 for: 5m labels: severity: critical annotations: summary: Canal consumer is lagging behind description: Canal consumer is lagging by {{ $value }} entries per minuteCanal 监控体系流程如下MySQL 数据库Canal 实例Prometheus 采集Grafana 可视化延迟监控消费积压检测告警触发通知运维人员实际应用与注意事项在实际应用中需要注意以下几点首先根据业务需求合理配置采集频率和告警阈值。不同业务场景对延迟和积压的容忍度不同需要根据实际情况调整参数。其次确保高可用性部署。建议 Canal 实例集群部署配合负载均衡避免单点故障。第三及时处理告警。建立明确的告警响应机制确保告警能够得到及时处理。最后以下是 Canal 监控的最小可运行示例# docker-compose.yml version: 3 services: canal: image: canal/canal-server:v1.1.5 ports: - 11111:11111 - 8080:8080 environment: - canal.manager.mysql.hostmysql - canal.manager.mysql.port3306 - canal.manager.mysql.userroot - canal.manager.mysql.passwordcanal volumes: - ./canal-server/conf:/opt/canal-server/conf - ./data:/opt/canal-server/data depends_on: - mysql prometheus: image: prom/prometheus:v2.32.0 ports: - 9090:9090 volumes: - ./prometheus.yml:/etc/prometheus/prometheus.yml - prometheus_data:/prometheus grafana: image: grafana/grafana:8.0.0 ports: - 3000:3000 volumes: - grafana_data:/var/lib/grafana mysql: image: mysql:5.7 ports: - 3306:3306 environment: - MYSQL_ROOT_PASSWORDcanal - MYSQL_USERcanal - MYSQL_PASSWORDcanal volumes: - mysql_data:/var/lib/mysql注意事项| 注意事项 | 说明 ||---------|------|| MySQL 配置 | Canal 部署前确保 MySQL 已开启 binlog 模式设置 log-binmysql-bin 和 binlog_formatROW || 权限配置 | Canal 实例需要足够的权限读取 binlog需授予 REPLICATION SLAVE, REPLICATION CLIENT 权限 || 资源调整 | 根据实际业务量调整内存参数尤其是 canal.instance.memory.unit.size || 数据持久化 | 生产环境建议配置数据持久化和定期备份避免数据丢失 || 监控监控 | 监控系统本身也需要监控确保监控系统的可用性 |Canal 部署前确保 MySQL 已开启 binlog 模式Canal 实例需要足够的权限读取 binlog根据实际业务量调整内存参数生产环境建议配置数据持久化和定期备份监控系统本身也需要监控确保监控系统的可用性