找到对应的实现类后,调用对应的createTableSink方法就能创建具体的实现类了。 3 工厂模式+创建者模式,创建TableSink JDBCTableSourceSinkFactory其实是真正jdbc表的具体实现工厂,不过他实现的是stream的sinkfactory,所以在1.10.0这个版本里是不能在batch模式下使用的,不过1.11据说会支持(如果想要使用可以参考jira,稍微改动...
3、配置Flink CDC源连接器和目标连接器 在Flink应用程序中,配置CDC源连接器和目标连接器,这里以Flink SQL为例: import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; import org.apache.flink.table.api.EnvironmentSettin...
tar -zxvf flink-1.18.1-bin-scala_2.12.tgz 二、下载mysql cdc https://repo1.maven.org/maven2/org/apache/flink/flink-connector-jdbc/3.0.0-1.16/flink-connector-jdbc-3.0.0-1.16.jar https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-mysql-cdc/2.3.0/flink-sql-connector-mysql-...
在Spring Boot应用的配置文件application.properties中添加以下配置: # Flink CDC配置flink.cdc.enabled=trueflink.cdc.database.hostname=flink.cdc.database.port=flink.cdc.database.username=flink.cdc.database.password=flink.cdc.database.databaseName=flink.cdc.database.serverTimeZone=UTC# 新的MySQL数据库配...
四、数据表对应的实体类 User.java packagecom.example.flinkcdcjob.dataBatch;importlombok.Data;importjava.math.BigInteger;@DatapublicclassUser{publicBigInteger id;publicString username;publicString password; } 五、主类MysqlCdcMysql.java packagecom.example.flinkcdcjob.dataBatch;importorg.apache.flink.streami...
flink-sql-connector-oceanbase-cdc-2.2.0.jar flink-connector-jdbc-1.15.3.jar mysql-connector-java-5.1.47.jar 准备数据 准备OceanBase 数据库数据 在OceanBase 数据库中准备测试数据,作为导入 MySQL 数据库的源数据。 登录OceanBase 数据库。 使用root用户登录集群的mysql001租户。
1. 创建mysql数据源 本来我的集群有台机器已经部署了mysql,这个mysql是CentOS7官方默认源自带的,版本为5.5,一开始想着直接就在这个mysql上做测试得了。 但是,我简单写了个demo跑一下发现,当前版本的mysql对于Flink的CDC来说,太低了,抛出了如下的异常:
为了方便管理,FlinkSQL方式也是用Java代码写 1、创建database tEnv.executeSql("CREATE DATABASE IF NOT EXISTS cloud_test"); tEnv.executeSql("CREATE DATABASE IF NOT EXISTS league_test"); 2、创建source表 注意类型是'connector' = 'mysql-cdc'。
MySQL 存储的数据量大了之后往往会出现查询性能下降的问题,这时候通过 Flink SQL 里的 MySQL CDC Connector 将数据同步到其他数据存储是常见的一种处理方式。 例如CDC 到 ES 实现数据检索,CDC 到 ClikHouse 进行OLAP分析,CDC 到Kafka实现数据同步等,然而目前官方 MySQL CDC Connector 还无法实现动态同步表结构,如果...
flink-sql-connector-mysql-cdc-2.1.1.jar flink-connector-jdbc-1.15.3.jar mysql-connector-java-5.1.47.jar 准备数据 准备MySQL 数据库数据 在MySQL 数据库中准备测试数据,作为导入 OceanBase 数据库的源数据。 进入MySQL 数据库。 [xxx@xxx /...]$mysql-hxxx.xxx.xxx.xxx-P3306-uroot-p***<Omitecho...