1.https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md#2%E6%89%A7%E8%A1%8C%E4%B8%80%E9%94%AE%E5%AE%89%E8%A3%85%E8%84%9A%E6%9C%AC 2.https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/increment-desc.md...
1.此处的关键点在{lastTime},{currentTime},${}是DataX动态参数的固定格式,lastTime,currentTime就是我们页面配置中 -DlastTime=’%s’ -DcurrentTime=’%s’中的lastTime,currentTime,注意字段一定要一致。 2.如果任务配置页面,时间类型选择为时间戳但是数据库时间格式不是时间戳,例如是:2019-11-26 11:40:57...
1.从github上拉取源码 https://github.com/WeiYe-Jing/datax-web 2.在本地的mysql数据库中执行脚本文件创建数据库 2.1.修改脚本文件 增加两行代码 CREATE DATABASE datax_web; USE datax_web; 2.2.在数据库中执行datax_web.sql脚本,生成datax_web库 3.修改配置文件 3.1.修改datax_admin下resources/applica...
cd./datax-webvi./modules/datax-admin/conf/bootstrap.properties 1. 2. datax-web-server分为2模块:admin 、executor。 检查admin配置修改: cd./datax-websudovi./modules/datax-admin/bin/env.properties# 修改server port、邮件、java_home等信息 1. 2. 3. 检查executor 配置修改: cd./datax-websudo...
DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的 操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提...
datax-web : https://github.com/WeiYe-Jing/datax-web 主要的功能: https://github.com/WeiYe-Jing/datax-web#features DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的 操作界面, 降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。
编辑datax-admin 的配置文件 [root@elt120 datax-web-2.1.2]# vi ./modules/datax-admin/conf/bootstrap.properties [root@elt120 datax-web-2.1.2]# cat ./modules/datax-admin/conf/bootstrap.properties #Database DB_HOST=home DB_PORT=3307 ...
此文件中包括一些默认配置参数,例如:executor.port,json.path,data.path等,具体请查看文件。 6.启动服务 6.1一键启动所有服务 [root@192 dataxweb]# cd /usr/local/dataxweb/ [root@192 dataxweb]# ./bin/start-all.sh 中途可能发生部分模块启动失败或者卡住,可以退出重复执行,如果需要改变某一模块服务端口号...
解压到希望的位置 tar -zxvf datax-web-2.1.2.tar.gz 执行./bin/install.sh 按照提示初始话 datax-web 自己的配置数据库 配置datax (我这里忽略了email 的配置) vim modules/datax-executor/bin/env.properties ## PYTHON脚本执行位置#PYTHON_PATH=/home/hadoop/install/datax/bin/datax.pyPYTHON_PATH=/...
build/datax-web-2.1.2.tar.gz 3、开始部署 在选定的安装目录,解压安装包 tar -zxvf datax-web-2.1.2.tar.gz 4、执行一键安装脚本 进入解压后的目录,找到bin目录下面的install.sh文件,如果选择交互式的安装,则直接执行 ./bin/install.sh 5、配置邮箱和数据库 ...