当前位置: 首页 > news >正文

DataX从入门到精通 第2课 ETL之DataX 安装datax-web

1、下载源码

datax-web地址为https://github.com/WeiYe-Jing/datax-web

2、编译源码

使用maven 进行编译,进行到datax-web所在目录,然后执行如下命令打包

mvn -U install

 编译成功之后产物有:datax-admin(控台)、datax-executor(执行器)、datax-web(完整部署包)

9a382267-327b-4c93-b798-9c6adbc387e9

 3、部署服务

1)使用datax-web-2.1.2.tar.gz进行部署,解压此文件。

e78c3af7-2185-4686-91ae-6f051f5d417d

 

2)准备一个mysql数据库,schema为datax-web

3)执行datax_web.sql中的脚本,文件位置为bin/db/datax_web.sql

4)编辑application.yml中的数据库信息,日志地址等

1eb56f81-925d-48ef-9d8f-79f14f498cfa

 5)shell启动datax-admin服务

经测试使用install.sh、start.sh、start-all.sh文件只适合在linux环境,无法在windows和mac直接使用,所以舍弃这种方法。

6)改造datax-admin、datax-executor为springboot项目

改造步骤省略,不懂技术的朋友可以使用ai工具来解决,如trae。

7)启动datax-admin服务

启动命令为

nohup java -Xms1g -Xmx1g -jar datax-admin-2.1.2.jar > /dev/null 2>&1 &

4557c612-02e4-496d-8f6f-ee788803d5fa

通过 http://localhost:8080/index.html 访问,默认账号 admin / 123456

4348f6f7-924d-41d3-87a7-e373d729cdd7

 8)启动datax-executor服务

配置applicaiton.yml文件,这里重点配置addresses(多个admin逗号分隔)、jsonpath(datax任务的路径)、pypath(datax的可执行python路径)

181398b2-7adf-478a-ab3a-ad501a55d8ce

 

启动命令

nohup java -Xms1g -Xmx1g -jar datax-executor-2.1.2.jar > /dev/null 2>&1 &

af72d353-ae1e-4583-b3de-4c72c50d243f

 登录到datax-admin系统,可以看到datax执行器已经注册成功,如果有多个执行器注册的话,这里会有多条数据。

776a3a92-09e9-4439-bd4a-9f846d864139

相关资源我已经放到百度盘,有需要的关注加v入群获取。

1abe57d8-b920-49a4-acbc-56c6a302139f

 

 

下一节课我们将会通过一个例子来讲解如何同步数据,后续将会讲解datax的原生插件以及自研插件,敬请期待。

image

 

http://www.gsyq.cn/news/1469596.html

相关文章:

  • 海牙认证去哪办?网上办公证和海牙认证流程与注意事项 - GrowthUME
  • 2026低代码双榜杀:IDC份额+信通院技术,谁在裸泳?
  • 目标检测调参实战:用CIOU Loss在YOLOv5/v8上提升mAP的完整流程
  • 3步掌握:如何用Detect-It-Easy构建自动化文件指纹分析流水线?
  • 告别锐捷客户端:WinSCP+抓包工具,给Padavan路由器‘植入’校园网认证的完整指南
  • 三步突破:重新定义Dell G15散热控制的轻量革命
  • 八目蛛网络(免费工具网站导航)
  • 新手福音:用快马平台生成burpsuite安装交互教程,三步完成安全工具部署
  • 苏州购宠避坑指南|姑苏+虎丘双店明轩猫犬舍,江南本地繁育健康萌宠优选 - 萌宠俱乐部
  • 77GHz FMCW雷达二维SAR成像全流程Matlab实现:含距离-多普勒处理、运动误差补偿与方位压缩
  • 类器官培养新选择:InSphero Gri3D水凝胶微腔板如何实现标准化3D细胞培养与高通量研究?
  • AI智能体项目的开发流程
  • 深入解析昇腾开发工具集 asc-tools:架构设计与应用实践
  • LayaAir里直接拖选Unity粒子.lh文件,实时预览+自由转视角
  • 2026上海顶尖MBA学费全览:安泰领衔,五校学制与择校指南
  • 2026嘉兴防水补漏哪家好?住建实地测评权威榜单TOP5|卫生间免砸砖/阳台屋顶/厨卫漏水维修(6月嘉兴专项调研) - 苏易修缮
  • 2026年 磁致伸缩位移/液位传感器厂家推荐榜:精准沉降检测与耐用技术标杆之选 - 品牌企业推荐师(官方)
  • 飞书 PPAP Audit Agent:汽车供应链质量审核的智能化落地方案
  • 从‘单词翻转’题看C++字符串处理:getline, reverse, substr怎么选?避坑指南
  • MacBook D 键失灵?别重启,拔电源试试
  • 3分钟掌握Windows窗口置顶:AlwaysOnTop终极效率指南
  • sigmaplot软件安装步骤(附安装包)SigmaPlot 15.0 超详细下载安装教程
  • 20260605 1
  • League Akari终极指南:从英雄联盟玩家痛点到高效解决方案的完全手册
  • Matlab谱减法语音降噪实操包:含完整代码、演示视频与信噪比评估工具
  • Navicat密码查看工具:5分钟找回丢失的数据库连接密码
  • 为什么你的Veo 2提示词总被强制截断?:独家披露Google内部Token预算分配表(含video_duration_weight参数权重)
  • 如何快速实现设计数据自动化转换:开发者的完整指南
  • 【Veo 2额度管理权威白皮书】:基于Google Cloud日志反向推演的额度分配模型(含Python监控脚本)
  • 新手福音:用快马AI生成你的第一个基图风格图片展示网页