1、通过Web构建DataXJson 2、DataX Json保存在数据库中,方便任务的迁移,管理 3、Web实时查看抽取日志,类似Jenkins的日志控制台输出功能 4、DataX运行记录展示,可页面操作停止DataX作业 5、支持DataX定时任务,支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效 6、调度采用中心式设计,支持集群部署 7...
Python(2.x) (支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下) 必选,主要用于调度执行底层DataX的启动脚本,默认的方式是以Java子进程方式执行DataX,用户可以选择以Python方式来做自定义的改造。 2)dataX安装 大家可以选择多种多种方法安装,此处选择直接下载data...
DataX-Web DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度...
DataX web是在DataX的基础上开发的分布式的数据同步工具,方便DataX的用户在网页上通过点击和配置就能完成DataX任务的配置和执行等动作。同时,DataX web是基于xxl-job进行二次开发的DataX任务管理后台,天生支持任务定时调度、日志查看等功能,能帮助用户更好地管理DataX任务。 因此,在学习使用DataX web之前,至少要了解...
datax-web地址:https://github.com/WeiYe-Jing/datax-web datax-web-ui地址:https://github.com/WeiYe-Jing/datax-web-ui 安装部署 Web部署 创建数据库 执行bin/db下面的datax_web.sql文件(注意老版本更新语句有指定库名) 修改项目配置 修改datax_admin下resources/application.yml文件。修改数据源配置,目前...
2. 执行datax-web/db下面的sql文件并修改application.yml数据库配置信息 3. application.yml配置数据抽取日志文件保存路径 etlLogDir: D:\temp\logs\datax-web\ 4. idea启动 datax-admin 5. 启动成功后打开页面 http://localhost:8080/index.html#/datax/job ...
今天试试 datax-web 的一键部署脚本 话不多说,直接上手操作~ 1、过程 (1)安装包准备 官方文档:https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md 给出了两种方式: ① 已编译好的包并上传百度云:点击下载提取码:cpsk ...
DataX-Web增量配置 一、根据日期进行增量数据抽取 1.页面任务配置 打开菜单任务管理页面,选择添加任务 按下图中5个步骤进行配置 1.任务类型选DataX任务 2.辅助参数选择时间自增 3.增量开始时间选择,即sql中查询时间的开始时间,用户使用此选项方便第一次的全量同步。第一次同步完成后,该时间被更新为上一次的任务...
Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下) Environment: MacOS, Windows,Linux Database: Mysql5.7 Features 1、通过Web构建DataX Json; 2、DataX Json保存在数据库中,方便任务的迁移,管理; ...
DataX-Web DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度...