flink-sql-connector-mysql-cdc-2.3.0.jar:监听MySQL数据变更。flink-sql-connector-tidb-cdc-2.3.0.jar:监听tidb数据变更。flink-connector-jdbc-1.16.0.jar:连接MySQL,并将数据写入MySQL。flink-sql-connector-kafka-1.16.2.jar:连接Kafka、消费、生产。
由于我们使用FlinkCDC mysql connector作为数据源,使用的value.format是debezium-json,同时定义了两个主键table_name;id,主键格式为json格式。 5.3.2 启动flink kafka sql connector作业 5.3.2.1 启动sink kafka作业 Flink SQL> set execution.checkpointing.interval=30sec; Flink SQL> set = flinkcdc_test_1; Flin...
下载tidb-connector和jdbc-connector组件。 # 下载 jar 包 [admin@OCP flink-1.16.1]$ cd lib/ [admin@OCP lib]$ wget https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-tidb-cdc/2.3.0/flink-sql-connector-tidb-cdc-2.3.0.jar [admin@OCP lib]$ wget https://repo1.maven.org/...
//2.创建 Flink-MySQL-CDC 的 Source tableEnv.executeSql("CREATE TABLE user_info (" + " id INT," + " name STRING," + " phone_num STRING" + ") WITH (" + " 'connector' = 'mysql-cdc'," + " 'hostname' = 'master'," + " 'port' = '3306'," + " 'username' = 'root',"...
TiDB 是一个兼容 MySQL 协议的分布式数据库,其数据结构和访问方式与 MySQL 类似。TiDB 支持标准的 SQL 查询,并且提供了丰富的元数据信息,可以通过 SQL 语句查询数据库的表结构、索引等信息。 3. 寻找或开发 Flink CDC 对 TiDB 的连接器(connector) Flink CDC 官方已经提供了对 MySQL 的连接器,但由于 TiDB 兼容...
TiDB 支持情况 TiDB 是一个兼容 MySQL 协议的分布式 NewSQL 数据库,它的目标是提供混合事务/分析处理(HTAP)能力,至于 Flink CDC 对 TiDB 的支持情况,这取决于 Flink 社区是否提供了相应的 CDC connector 来连接 TiDB。 Flink CDC Connectors Flink CDC 通常通过专门的 connector 来实现对不同数据库的支持,这些 ...
下载flink tidb cdc connector,放在flink lib下: wgethttps://repo1.maven.org/maven2/com/ververica/flink-sql-connector-tidb-cdc/2.2.0/flink-sql-connector-tidb-cdc-2.2.0.jar sr@cs03:~/app/flink-1.13.3/lib$pwd/home/disk1/sr/app/flink-1.13.3/lib ...
对于MySQL,可以使用Flink CDC连接器;对于SQL Server,可使用flink-connector-sqlserver-cdc。 Flink CDC Connectors 是 Apache Flink 的一组源连接器,可以从 MySQL、PostgreSQL 数据直接读取全量数据和增量数据的 Source Connectors。而flink-connector-sqlserver-cdc则是专门为SQL Server设计的实时同步工具。 这些连接器可以...
作为新一代的数据集成框架, Flink CDC 不仅可以替代传统的 DataX 和 Canal 工具做实时数据同步,将数据库的全量和增量数据一体化地同步到消息队列和数据仓库中;也可以用于实时数据集成,将数据库数据实时入湖入仓;同时还支持强大的数据加工能力,可以通过 SQL 对数据库数据做实时关联、打宽、聚合,并将物化结果写入到各...