寻找实现类的过程,就是SPI的过程。即通过查找路径下所有TableFactory.class的实现类,加载到内存。 这个SPI的定义就是在resources下面的META-INFO下定义接口以及实现类 加载到内存后,首先判断是否是TableFactory的实现类,然后检查必要的参数是否满足(如果不满足会抛出异常,很多人在第一次使用Flink SQL注册表时,都会遇到No...
flink-cdc-pipeline-connector-mysql-3.1.0.jar flink-cdc-pipeline-connector-doris-3.1.0.jar 如果没有则下载,下载地址为: # 下载mysql连接器wgethttps://repo1.maven.org/maven2/org/apache/flink/flink-cdc-pipeline-connector-mysql/3.1.0/flink-cdc-pipeline-connector-mysql-3.1.0.jar # 下载doris连接器...
env.setStateBackend(new FsStateBackend("hdfs://hadoop102:8020/flink1109/ck")); //2.使用CDC的方式读取MySQL变化数据 DebeziumSourceFunction<String> sourceFunction = MySQLSource .<String>builder() .hostname("hadoop102") .port(3306) .username("root") .password("123456") .databaseList("gmall082...
flinkcdc版本:1.14.0 mysql版本:5.7 1、开启MySQL中binlog日志 修改我们的配置文件 my.cnf,增加: server_id=1log_bin=mysql-bin binlog_format=ROW expire_logs_days=30 重启mysql 查看MySQL是否开启日志成功 show variableslike'%log_bin%' 2、引入pom依赖 View Code 3、java代码 CustomSink: View Code MyS...
1. 创建mysql数据源 本来我的集群有台机器已经部署了mysql,这个mysql是CentOS7官方默认源自带的,版本为5.5,一开始想着直接就在这个mysql上做测试得了。 但是,我简单写了个demo跑一下发现,当前版本的mysql对于Flink的CDC来说,太低了,抛出了如下的异常:
为了方便管理,FlinkSQL方式也是用Java代码写 1、创建database tEnv.executeSql("CREATE DATABASE IF NOT EXISTS cloud_test"); tEnv.executeSql("CREATE DATABASE IF NOT EXISTS league_test"); 2、创建source表 注意类型是'connector' = 'mysql-cdc'。
使用Java代码读取CDC数据流 到这一步我们开始使用Flink程序来获取CDC数据流。 使用传统MySQL 数据源方式 首先需要引入Flink Connector MySQL CDC依赖。 <dependency><groupId>com.alibaba.ververica</groupId><artifactId>flink-connector-mysql-cdc</artifactId><version>1.3.0</version></dependency> ...
第1步首先搭建平台包扩flink、flinkCDC、mysql、doris; 1.1 准备环境 实验平台:VMware虚拟机CentOS8; 虚拟机需要最小6G内存+30G存储;关于linux系统存储扩容,可以参考LVM(logic volumn manager)系统 Docker: Docker version 24.0.1, build 6802122 jkd:orale的Java11; ...
{flink.version}</version></dependency><dependency><groupId>com.ververica</groupId><artifactId>flink-sql-connector-mysql-cdc</artifactId><version>3.0.1</version></dependency><dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java</artifactId><version>${flink.version}</...