当前位置: 首页 > news >正文

kettle9.0 从30个数据库中读取数据 然后同步到另一个数据库中,每个数据库有53个表数据(初版没有考虑性能,没有并发处理)

一、将数据库信息以及表信息保存在数据库中,比excel读取效率更高

1、新建两个表

创建数据库表
CREATE TABLE IF NOT EXISTS source_vehicle_info (
id INT AUTO_INCREMENT COMMENT '自增主键',
cloud_partition VARCHAR(50) NOT NULL COMMENT '所属云分区',
company_name VARCHAR(50) NOT NULL COMMENT '公司名称',
company_code INT NOT NULL COMMENT '公司编号',
domain VARCHAR(100) NOT NULL COMMENT '域名',
source_ip VARCHAR(20) NOT NULL COMMENT '源IP',
source_port INT NOT NULL COMMENT '源端口',
source_db_name VARCHAR(50) NOT NULL COMMENT '源数据库名称',
target_db_name VARCHAR(50) NOT NULL COMMENT '目标数据库名称',
source_user VARCHAR(50) NOT NULL COMMENT '源数据库用户名',
source_pwd VARCHAR(100) NOT NULL COMMENT '源数据库密码',
PRIMARY KEY (id),
UNIQUE KEY uk_company_code (company_code) COMMENT '公司编号唯一索引',
INDEX idx_cloud_partition (cloud_partition) COMMENT '云分区索引') ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='云分区公司数据库连接信息表';
2、新建存表信息的表
CREATE TABLE IF NOT EXISTS `vehicle_table_config` (
    `id` INT AUTO_INCREMENT COMMENT '自增主键',
    `table_name` VARCHAR(50) NOT NULL COMMENT '同步的表名(如plat_vehicle)',
    `sync_type` VARCHAR(1) NOT NULL COMMENT '同步类型:F=全量,I=增量',
     `last_sync_time` DATETIME DEFAULT '2019-01-01 00:00:00' COMMENT '同步时间'
    PRIMARY KEY (`id`),
    UNIQUE KEY `uk_table_name` (`table_name`) COMMENT '表名唯一,避免重复配置'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='数据同步表配置表';
 二、逻辑梳理截图
整体逻辑:先获取数据库表信息,循环获取对应的数据库可连接信息,然后再获取所有的表信息,获取每个表的信息进行表同步,更新表的同步时间
1、整个作业

image

 

 

2、1转换_获取数据库连接信息

image

3、子作业_循环读取数据库连接信息

image

 

 4、转换_循环读取数据库信息

image

 5、读取表的作业:3中层作业_获取表信息

image

 

 

 6、3.转换:获取表信息

image

 

 7、作业:4中层作业_循环读取表信息进行表同步

image

 

 8、4读取表信息

image

 

 9、单表同步

image

 10、更新同步时间

image

http://www.gsyq.cn/news/68868.html

相关文章:

  • 腾森领衔:2025年全国拉森钢板桩五大服务商综合实力与行业标杆深度解析
  • 重练算法(代码随想录版) day28 - 贪心part2
  • 基于最大相似度的区域合并交互式图像分割算法
  • 中国人工智能领域领先企业TOP5权威榜单(2025)!我国人工智能领域有哪些领先企业?
  • 电永磁吊具・电控永磁系统・起重设备 —— 宏兴盛 工业磁力头部品牌
  • 别再手动 try...catch 了:一种更优雅的 async/await 错误处理模式
  • 在示例代码中添加设置和获取矩形宽度和高度的成员函数
  • 在AdvancedInstaller中通过版本号检查软件部署环境
  • 2025年河南图文矩阵推广服务商权威推荐榜单:河南矩阵推广公司/河南矩阵推广方案/河南矩阵推广引流渠道精选
  • 【*矩阵运算】你不得不会的线性代数/点乘和矩阵乘法的区别/如何加速运算和不保留中间结果(防止爆内存MLE)
  • 纺织脉搏,气动赋能:精选高效空压机品牌助力产业升级
  • 2025预糊化淀粉厂家TOP5公平推荐:各有专攻的优质供应商,按需选择更适配
  • 2025年12月货架/钢平台厂家权威推荐TOP10:以实力甄选,为效率赋能
  • 2025年12月角接触球轴承厂家推荐 应用场景涵盖数控机床主轴轴承、机器人轴承、电机轴承
  • 2025年12月货架/钢平台等设备厂家权威推荐TOP10,选对厂家省成本超30%
  • 智选空压动力:深度解析国内空压机实力品牌与行业应用方案
  • 2025 年12月挤出机行业优选5优质厂家推荐:比较好的双螺杆挤出机/挤出机设备/单螺杆挤出机/螺杆挤出机/双螺杆颗粒挤出机/平行双螺杆挤出机/三螺杆挤出机/pp双螺杆挤出机/塑胶双螺杆挤出机厂家
  • 2025年柜体发光板批发厂家权威推荐榜单:发光木板‌/圆形发光板‌/发光置物架‌源头厂家精选
  • 2025 年蜗轮丝杆升降机厂家厂家最新推荐排行榜:聚焦八大实力企业,解析产品性能与服务优势JWM /按图定制/不锈钢/电动/多台联动蜗轮丝杆升降机公司推荐
  • 2025 年 12 月国内管理咨询公司TOP10榜单:洞悉行业趋势,引领企业变革的智慧之选!
  • 消费者组重平衡与消息顺序性保证:原理、操作与实践
  • 2025年12月升降平台、全自行式升降机优质品牌最新推荐+安全平稳性指南
  • 2025年惠州围挡护栏认证厂家推荐:围挡护栏源头厂家哪家靠谱
  • 2025年12月升降平台厂家推荐:全自行式升降机、登车桥、装卸平台、导轨货梯精选
  • 2025 年 12 月战略管理咨询公司权威推荐榜:洞悉商业趋势,助力企业腾飞的智慧之选!
  • 正规股票配资平台哪些实盘配资平台靠谱
  • 2025年口碑好的围挡护栏厂家推荐:鑫森建设产品质量好
  • 公众号排版用什么软件?3款主流工具推荐与实操指南
  • Antigravity 删除 D盘问题分析
  • 2026年煤质分析仪器厂家新推荐排行,煤质分析仪器信誉好/售后好/服务好/技术好