flink-sql-connector-kafka_2.11-1.13.5.jar flink-sql-connector-mysql-cdc-1.3.0.jar 如果你的Flink是其它版本,可以来这里下载。 这里flink-sql-connector-mysql-cdc,前面一篇文章我用的mysq-cdc是1.4的,当时是可以的,但是今天我发现需要mysql-cdc-1.3.0了,否则,整合connector-kafka会有来冲突,目前mysql-cdc-1...
测试环境测试场景 使用flink sql CDC 从MySQL数据库同步数据到目标MySQL,KAFKA。 CREATE TABLE sbtest1 ( id INT, k INT, c STRING, pad STRING) WITH ( 'connector' = 'mysql-cdc', 'hostname' = '197.XXX.XXX.XXX', 'port' = '3306', 'username' = 'debezium', 'password' = 'PASSWORD', 'da...
flink-sql-connector-kafka_2.11-1.13.5.jar flink-sql-connector-mysql-cdc-1.3.0.jar 如果你的Flink是其它版本,可以来这里下载。 这里flink-sql-connector-mysql-cdc,前面一篇文章我用的mysq-cdc是1.4的,当时是可以的,但是今天我发现需要mysql-cdc-1.3.0了,否则,整合connector-kafka会有来冲突,目前mysql-cdc-1...
'hostname' = 'master','port' = '3306','username' = 'mysql','password' = '12345678','database-name' = 'test','table-name' = 'ab','debezium.snapshot.mode' = 'initial')CREATE TABLE kafka_mysql_cdc (name STRING,age INT,city STRING,phone STRING) WITH ('connector...
使用flink sql 进行数据同步,可以将数据从一个数据同步到其他的地方,比如 mysql、elasticsearch 等。 可以在源数据库上实时的物化一个聚合视图 因为只是增量同步,所以可以实时的低延迟的同步数据 使用EventTime join 一个 temporal 表以便可以获取准确的结果
kafka 2.3 flink 1.13.5 on yarn 说明:如果没有安装hadoop,那么可以不用yarn,直接用flink standalone环境吧。 2. 下载下列依赖包 下面两个地址下载flink的依赖包,放在lib目录下面。 flink-sql-connector-kafka_2.11-1.13.5.jar flink-sql-connector-mysql-cdc-1.3.0.jar ...
CDC的upsert-kafka连接器来解决。该连接器支持将MySQL中的增删改操作写入到Kafka中，并且能够正确处理更新...
准备好kafka,mysql,可以在本地测试。 启动kafka消费者,topic是ods_base_db 在idea中启动flinkcdc程序。 打开mysql编辑器,表base_trademark中原始记录有12条如下: 现在手工增加一条记录,编号为13 wang 查看idea控制台显示添加消息如下: 同时在Kafka消费者也看到一条记录如下,字段type为操作类型,c表示创建 ...
flink-sql-connector-mysql-cdc-1.3.0.jar 如果你的Flink是其它版本,可以来这里下载。 这里flink-sql-connector-mysql-cdc,前面一篇文章我用的mysq-cdc是1.4的,当时是可以的,但是今天我发现需要mysql-cdc-1.3.0了,否则,整合connector-kafka会有来冲突,目前mysql-cdc-1.3适用性更强,都可以兼容的。