1、通过Web构建DataXJson 2、DataX Json保存在数据库中,方便任务的迁移,管理 3、Web实时查看抽取日志,类似Jenkins的日志控制台输出功能 4、DataX运行记录展示,可页面操作停止DataX作业 5、支持DataX定时任务,支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效 6、调度采用中心式设计,支持集群部署 7...
WeiYe-Jing/datax-web: DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。 (github.com) DataX Web是在DataX之...
datax-web地址:https://github.com/WeiYe-Jing/datax-web datax-web-ui地址:https://github.com/WeiYe-Jing/datax-web-ui 安装部署 Web部署 创建数据库 执行bin/db下面的datax_web.sql文件(注意老版本更新语句有指定库名) 修改项目配置 修改datax_admin下resources/application.yml文件。修改数据源配置,目前...
DataX web是在DataX的基础上开发的分布式的数据同步工具,方便DataX的用户在网页上通过点击和配置就能完成DataX任务的配置和执行等动作。同时,DataX web是基于xxl-job进行二次开发的DataX任务管理后台,天生支持任务定时调度、日志查看等功能,能帮助用户更好地管理DataX任务。 因此,在学习使用DataX web之前,至少要了解...
此文件中包括一些默认配置参数,例如:executor.port,json.path,data.path等,具体请查看文件。 6.启动服务 6.1一键启动所有服务 [root@192dataxweb]#cd/usr/local/dataxweb/ [root@192dataxweb]#./bin/start-all.sh 中途可能发生部分模块启动失败或者卡住,可以退出重复执行,如果需要改变某一模块服务端口号,则: ...
Python2.7(支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下) Environment: MacOS, Windows,Linux Database: Mysql5.7 Features 1、通过Web构建DataX Json; 2、DataX Json保存在数据库中,方便任务的迁移,管理; ...
datax-web下载代码，本地打包 datax-admin-dev2.1.3打包之后有问题，MYSQL 前端代码包含在admin模块的static中 部署 依赖于jdk，python，mysql 1 解压设置环境变量：DATAX_HOME=/home/docker/datax-web/datax JAVA_HOME=/home/docker/datax-web/jdk1.8.0_201 export JAVA_HOME DATAX_HOME 2 安装datax-...
DataX 3.0与DataXWeb结合可以打造一个强大的分布式可视化ETL系统。以下是关于该系统的详细解答：1. DataX 3.0简介 功能定位：DataX是阿里云DataWorks的开源版本，专为离线数据同步设计，能够支持多种异构数据源间的稳定高效数据传输。架构设计：采用Framework + Plugin架构，将数据读取与写入抽象为Reader/...
2. 执行datax-web/db下面的sql文件并修改application.yml数据库配置信息 3. application.yml配置数据抽取日志文件保存路径 etlLogDir: D:\temp\logs\datax-web\ 4. idea启动 datax-admin 5. 启动成功后打开页面 http://localhost:8080/index.html#/datax/job ...
在idea中启动Datax-web 需要先将Datax在本地安装,可以参考这篇文章(datax在win10中的安装) 1.从github上拉取源码 https://github.com/WeiYe-Jing/datax-web 2.在本地的mysql数据库中执行脚本文件创建数据库 2.1.修改脚本文件 增加两行代码 CREATE DATABASE datax_web; ...