2.2 版本会新增 SqlServer CDC,TiDB CDC,OceanBase CDC 三个 Connector,支持从上三种数据库中读取全量和增量 CDC 数据。 MySQL CDC 支持动态加表,如果你一个 CDC pipeline 监控了4张表,突然有天老板想让你加几张表,你肯定不想另起作业 (浪费资源),那么这个 feature 可以让你在已有 pipeline 中增加需要监控的表...
flink-connector-oracle-cdc [oracle] Fix mining session stopped due to 'No more data to read from… Jul 28, 2022 flink-connector-postgres-cdc [build] Use correct year and copyright owner in license files (apache… Jul 21, 2022 flink-connector-sqlserver-cdc [build] Use correct year and copy...
MySQL CDC 连接器在 2.4 版本支持读取无主键表,同时支持新增表时原有实时同步链路不断流。 社区2.4 版本兼容 Flink 1.13 ~ 1.17 五个 Flink 版本。CDC 的 SQL Connector 可以跑在不同的 Flink 集群上而无需任何修改,实现跨版本兼容。如果是 Datastream 作业,则需要根据不同的 Flink 版本引入不同版本的 flink-...
('connector'='mysql-cdc', ${dbserver1},'database-name'='db1','table-name'='t_order','server-time-zone'='Asia/Shanghai','scan.startup.mode'='latest-offset'--从最晚位点启动);CREATETABLEt_user_order( order_no STRING, user_name STRING, user_email STRING, order_amount DOUBLE, order...
「flink-connector-postgres-cdc」 「描述」:用于从 PostgreSQL 数据库中捕获数据变更。这个连接器利用 PostgreSQL 的逻辑复制功能来捕获数据变更。 「适用场景」:适用于 PostgreSQL 数据库用户,尤其是在需要实时处理和同步 PostgreSQL 数据的场景中。 「flink-connector-sqlserver-cdc」 「描述」:用于从 Microsoft SQL S...
作为Flink 最火的 connector 之一,从一开源就火爆全场,从最开始的 Mysql、PostgreSQL,到现在的 MongoDB、Oracle、SqlServer,充分满足用户的多种数据源同步需求。 特别是 Flink cdc connector 2.0 发布,稳定性大幅提升(动态分片,初始化阶段支持checkpoint)、功能增强(无锁初始化) ...
2.2 版本新增 OceanBase,PolarDB-X,SqlServer,TiDB 四种数据源接入,均支持全量和增量一体化同步。 至此,Flink CDC 已支持 12 种数据源。 Flink CDC 兼容 Flink 1.13 和 Flink 1.14 两个大版本,2.2 版本的所有 Connector 都支持跑在 Flink 1.13.或 Flink 1.14.的集群上。
wget https://obs-githubhelper.obs.cn-east-3.myhuaweicloud.com/blog-images/category/bigdata/hudi/flink-sql-client-cdc-datalake/flink-sql-connector-mysql-cdc-1.2.0.jar Copy 备注:上述hudi-flink-bundle_2.12-0.9.0.jar已经修复了官方的bug,即不能加载默认配置项问题,建议使用上述提供的jar包。
CREATE TABLE sbtest1 ( id INT, k INT, c STRING, pad STRING) WITH ( 'connector' = 'mysql-cdc', 'hostname' = '197.XXX.XXX.XXX', 'port' = '3306', 'username' = 'debezium', 'password' = 'PASSWORD', 'database-name' = 'cdcdb', 'table-name' = 'sbtest1', 'debezium.snapshot...
flink-connector-oracle-cdc [mysql][polardbx] Stop container timely in tests (#1468) 3年前 flink-connector-postgres-cdc [test] Fix tests missed 'update_before' records if the primary keys of… 3年前 flink-connector-sqlserver-cdc [test] Fix tests missed 'update_before' records if the primar...