DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供...
datax: job: admin: ### datax-web admin address addresses: http://127.0.0.1:8080 executor: appname: datax-executor ip: port: 9999 ### job log path logpath: ./data/applogs/executor/jobhandler ### job log retention days logretentiondays: 30 executor: jsonpath: /Users/mac/data/applog...
官网地址:https://github.com/alibaba/DataX/blob/master/userGuid.md DataX-Web安装 1.下载DataX-Web项目https://github.com/WeiYe-Jing/datax-web 2.创建DataX-Web数据库,导入项目中的sql文件 导入项目中的sql文件 3.修改数据库地址及日志输出地址 数据库地址 日志输出地址 4.启动两个Application,打开http:...
官网地址:https://github.com/alibaba/DataX/blob/master/userGuid.md DataX-Web安装 1.下载DataX-Web项目 2.创建DataX-Web数据库,导入项目中的sql文件 导入项目中的sql文件 3.修改数据库地址及日志输出地址 数据库地址 日志输出地址 4.启动两个Application,打开http://localhost:8080/index.html#/dashboar...
datax的官网说明:https://github.com/alibaba/DataX/tree/datax_v202303,根据版本选择即可。 datax下载地址:https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202303/datax.tar.gz,这个版本大于1.48G。 datax-web现在地址:https://github.com/WeiYe-Jing/datax-web/tags,下载最新版即可。
datax-web在windows环境idea中模块化打包部署 操作步骤: 1.在idea中点击Maven Projects,点击datax-web中的clean,等待执行完成后,点击package进行打包。等待打包完成。 2.打包完成后,拷贝datax-admin下的target/datax-admin-2.1.2.jar,以及datax-executor下的target/datax-executor-2.1.2.jar ...
datax的官网说明:https://github.com/alibaba/DataX/tree/datax_v202303,根据版本选择即可。 datax下载地址:https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202303/datax.tar.gz,这个版本大于1.48G。 datax-web现在地址:https://github.com/WeiYe-Jing/datax-web/tags,下载最新版即可。
背景介绍,因为需求是外部数据和内部生产数据之间需要通步,因此dataworks的数据同步模块的源端和目标是不支持多网络环境,要么公网,要么内网,因此这种需求我们的dataworks是不能使用的,我们调研了两个工具,一个是dataxweb ,一个是dolphinscheduler ,今天的篇幅主要讲解一下搭建的dataxweb的流程。
官方文档:https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md 给出了两种方式: ① 已编译好的包并上传百度云:点击下载提取码:cpsk ② 自行编译: 直接从Git上面获得源代码,在项目的根目录下执行如下命令 mvn clean install ...
DataX 是阿里云DataWorks数据集成的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。