当前位置: 首页 > news >正文

使用 NIFI监控数据库表

1.概述

本文使用 NIFI 实现如何监控某一个数据库表的变化,并将数据库变化写入到文件中。
这中间使用到了

  • CaptureChangeMySQL
    关注数据库变化,及数据库表所有的变化都会被捕获,这个是实时处理的
  • EvaluateJsonPath
    从数据中抽取部分数据,放到 flowfile 的属性中
  • UpdateAttribute
    更新 flowfile 的 filename 属性
  • PutFile
    负责将flowfile 以指定filename 属性写入到文件系统中

2. 配置过程

2.1 配置 CaptureChangeMySQL

image
这里配置我需要监控的 数据库,数据库表,并填写 数据库节点用户名密码

2.2 配置EvaluateJsonPath

这个步骤的作用是将 一条记录的属性抽取到 flowfile 的属性中

image

这里增加两个属性,这里使用的是 json path 获取 table_name 和 timestamp 时间戳。

至于我怎么知道需要这样获取。我们可以使用 nifi 的 特性,即

image

我们可以启动第一个CDC ,停掉 之后的任务,这样数据存在于
image

队列中。

比如我们在数据库表中增加一条记录,在 右键在画布中 选择 refresh 刷新。

image

我们看到队列中有一条数据。

image

可以看到队列中的数据内容。

image

点击查看内容

image

数据是一个JSON,我们可以根据 JSON path 获取 数据中的内容。

2.3 配置 UpdateAttribute

image

这里我们修改 filename 属性,为表名_时间戳.json

2.4 配置

image

这里只需要配置一下写入的目录。

配置完成后,我们点击启动,我们模拟对数据进行增改删,就会看到 putfile 配置的目录下增加了JSON文件。

image

这里只是 演示了一下 NIFI的基础功能及配置过程。

http://www.gsyq.cn/news/41915.html

相关文章:

  • 利用Libevent在CentOS 7上打造异步网络应用
  • 2025年广东菲律宾家具集运服务权威推荐:广东家具拼柜菲律宾公司/广东家具集装箱菲律宾平台/广东食品海运菲律宾渠道精选
  • 告别文件混乱!Adobe Bridge 2026 全媒体可视化管理,让设计流程更顺畅
  • kernel pwn入门 强网杯2018 - core
  • 2025 年 11 月河南制砂机,郑州制砂机,鹅卵石制砂机厂家最新推荐,聚焦资质、案例、售后的五家家机构深度解读!
  • 2025东北拉弯加工厂家推荐白皮书,赢鑫拉弯加工厂家介绍
  • 2025 年蒸发器源头厂家最新推荐排行榜:聚焦优质企业,助力工业废水高效处理设备选购热泵刮板蒸发器/多效蒸发器/蒸汽刮板蒸发器公司推荐
  • 097_尚硅谷_经典案例打印字塔
  • 2025年粪便干湿分离机源头厂家权威推荐榜单:牛粪干湿分离机厂家/鸡粪干湿分离机/猪粪便干湿分离机源头厂家精选
  • CentOS7服务器部署GitLab
  • CentOS7.9升级gcc
  • raft 读请求源码走读
  • 2025年工业冷水机品牌供应商/加工厂/批量定制新推荐排行榜白皮书
  • 详细介绍:【MongoDB的RLE压缩数据存储】
  • 模拟赛日志
  • 2025年工作服定制哪家工艺精湛?专业工作服定制生产厂推荐
  • 2025年安全检测检验公司排行榜:十大权威机构深度解析
  • 算法社Python基础入门面试题库(新手版含答案) - 指南
  • 深入解析:一键把本地项目推到 GitHub:通用脚本 + 小白友好指南
  • Java的多态和重载
  • 2025 年分离机源头厂家最新推荐排行榜:聚焦国内优质品牌,助力企业精准选型碟片式分离机/离心分离机/全自动分离机公司推荐
  • 维修厂家推荐排行榜单2025:权威评测
  • 2025年色谱仪品牌新推荐排行榜白皮书,赛智液相色谱仪怎么样
  • GESP202309 五级 巧夺大奖题解
  • 2025年肯德基门闭门器优质厂家权威推荐榜单:钢制肯德基门/仿铜肯德基门/肯德基门型材源头厂家精选
  • feg
  • 2025 年 11 月竹制品防霉剂,防虫防霉剂,鞋子防霉剂厂家最新推荐,聚焦资质、案例、售后的五家机构深度解读!
  • 减压风暴小程序:释放压力的休闲新选择,助力流量变现新机遇
  • 2025年市场上破碎机工厂推荐排行榜前十名
  • 吴恩达深度学习课程二: 改善深层神经网络 第一周:深度学习的实践 课后作业和代码实践