一、前提 国产数据库的崛起元年,不得不提人大金仓(Kingbase)、南大通用数据库(Gbase)、达梦数据库(DM)、华为数据库(GaussDB)、阿里数据库(Oceanbase)等,此文章介绍采用datax作为同步人大金仓Kingbase86数据库的工具。目前github上的datax版本功能仅
如果用户指定其他非支持类型,MysqlReader将报错! 如果splitPk不填写,包括不提供splitPk或者splitPk值为空,DataX视作使用单通道同步该表数据。 必选:否 默认值:空 2、目前可以使用该配置的插件 目前主要是reader插件,主要有rdbmsReader(sqlServer、mysql、postgresql、oracle等)、hbase20xsqlreader、DrdsReader和Kingbasees...
类型 数据源 Reader(读) Writer(写) RDBMS 关系型数据库 MySQL √ √ 读、写 Oracle √ √ 读、写 OceanBase √ √ 读、写 SQLServer √ √ 读、写 PostgreSQL √ √ 读、写 DRDS √ √ 读、写 Kingbase √ √ 读、写 通用RDBMS(支持所有关系型数据库) √ √ 读、写 阿里云数仓数据存储 ODPS √ ...
2、目前可以使用该配置的插件 目前主要是reader插件,主要有rdbmsReader(sqlServer、mysql、postgresql、oracle等)、hbase20xsqlreader、DrdsReader和KingbaseesReader。 3、源码解读 目前主要的代码都在CommonRdbmsReader的startRead()中 1. 获取 String querySql = readerSliceConfig.getString(Key.QUERY_SQL); 2. 调用...
hbase20xsqlreader update phoenix client version to 5.2.5 4年前 hbase20xsqlwriter update phoenix client version to 5.2.5 4年前 hdfsreader Bump jdk to 1.8 5年前 hdfswriter 修改overwrite为truncate 4年前 images Add files via upload 5年前 kingbaseesreader Add kingbasees...
8. kingbase驱动: kingbase8-8.2.0.jar 9. greenplum驱动:greenplum-jdbc-5.1.4.jar 10. Gbasse驱动: gbase-8.3.81.53.jar 11.DM(达梦)驱动: Dm7jdbcDriver16-7.6.0.165.jar,DM7jdbcDriver18.jar 12. Vertica驱动: vertica-jdbc-9.1.1-0.jar
kingbaseeswriter kuduwriter loghubreader loghubwriter milvuswriter mongodbreader mongodbwriter mysqlreader mysqlwriter neo4jwriter obhbasereader obhbasewriter oceanbasev10reader oceanbasev10writer ocswriter odpsreader odpswriter opentsdbreader oraclereader ...
1、我现在用datax自带的kingbaseesreader链接不成功,错误为jdbc驱动问题; 2、我查看了kingbase的版本发现本地的版本是v7,而kingbaseesreader中带的驱动包是v8 3、现在我初步的想法是: 1、将kingbaseesreader下的v8驱动包换成v7的试一下 2、把plugin.json里面仿照rdbmsre
采用DataX测试大数据量下MySQL、Oracle、kingbase(金仓)各种异构数据源之间数据同步,读写速度、读写成功率、时耗、datax channel数和batchSize的设置合理性 2、DataX的原理 DataX作为中间传输载体负责连接各种数据源。解决异构数据源同步问题,接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据...
[INFO] sqlserverreader 0.0.1-SNAPSHOT ... SUCCESS [ 1.237 s] [INFO] postgresqlreader 0.0.1-SNAPSHOT ... SUCCESS [ 0.876 s] [INFO] kingbaseesreader 0.0.1-SNAPSHOT ... SUCCESS [ 0.878 s] [INFO] oraclereader 0.0.1-SNAPSHOT ... SUCCESS [ 0.867 s] [INFO] odpsreader 0.0.1-SNAP...