2.1.1 安装 Step1: 拉取mysql镜像: docker pull mysql:8.0.25 1. Step2: 创建并运行 MySQL 容器 docker run -d -p 30025:3306 --name mysql8.0.25 -e MYSQL_ROOT_PASSWORD=root mysql:8.0.25 1. 2.1.2 CDC 配置 Step1:进入正在运行的mysql容器: ...
1.下载flink release 最新版本1.18.0 并解压, https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-elasticsearch7/3.0.1-1.17/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar 下载es flink-cdc 驱动包 git clone github上面 flink-cdc master 分支并编译 mvn clean install -DskipT...
访问Flink CDC下载页面https://www.apache.org/dyn/closer.lua/flink/flink-cdc-3.1.0/flink-cdc-3.1.0-bin.tar.gz 复制下载地址并下载 wgethttps://dlcdn.apache.org/flink/flink-cdc-3.1.0/flink-cdc-3.1.0-bin.tar.gz 解压文件 tar -zxvf flink-cdc-3.1.0-bin.tar.gz 查看文件目录结构 cd flink-...
1.下载安装包 进入Flink 官网,下载 1.13.0 版本安装包 flink-1.13.0-bin-scala_2.12.tgz,注意此处选用对应 scala 版本为 scala 2.12 的安装包。 2.解压 在hadoop102 节点服务器上创建安装目录/opt/module,将 flink 安装包放在该目录下,并执行解压命令,解压至当前目录。 $ tar -zxvf flink-1.13.0-bin-scala...
第1步首先搭建平台包扩flink、flinkCDC、mysql、doris; 1.1 准备环境 实验平台:VMware虚拟机CentOS8; 虚拟机需要最小6G内存+30G存储;关于linux系统存储扩容,可以参考LVM(logic volumn manager)系统 Docker: Docker version 24.0.1, build 6802122 jkd:orale的Java11; ...
简介: flink postgresql cdc实时同步(含pg安装配置等) 1. 环境信息 类型版本/描述 docker 20.10.9 Postgresql 10.6 初始化账号密码:postgres/postgres 普通用户:test1/test123数据库:test_db flink 1.13.6 2. 安装 step1: 拉取 PostgreSQL 10.6 版本的镜像: docker pull postgres:10.6 step2:创建并启动 ...
如果要验证flink cdc的功能,需要先下载flink的安装包,然后下载相应的cdc jar包并依赖,最后使用安装包里面的sql-client写相关的flink sql即可验证。 3.1 Flink版本与CDC版本的对应关系 下载Flink安装包以及jar包前,必须确定Flink CDC与Flink版本关系: Flink CDC 版本 Flink 版本 1.0.0 1.11.* 1.1.0 1.11.* 1.2....
1.需要安装SQLServer(需要支持CDC的功能,SQLServer 2008之后的版本都支持); 2.需要开启SQL Server代理; 3.启用CDC功能。 ok,接下来开始讲解。 02 SQLServer安装首先需要先安装SqlServer(使用的是2019版本)主要就是两个步骤: ## 拉取最新镜像docker pull mcr.microsoft.com/mssql/server:2019-latest## 运行 SQL ...
说明:如果没有安装hadoop,那么可以不用yarn,直接用flink standalone环境吧。 2. 下载下列依赖包 下面两个地址下载flink的依赖包,放在lib目录下面。 flink-sql-connector-kafka_2.11-1.13.5.jar flink-sql-connector-mysql-cdc-1.3.0.jar 如果你的Flink是其它版本,可以来这里下载。
Flink_CDC 1. 环境准备 mysql hbase flink 1.13.5 on yarn 说明:如果没有安装hadoop,那么可以不用yarn,直接用flink standalone环境吧。 2. 下载下列依赖包 下面两个地址下载flink的依赖包,放在lib目录下面。 flink-sql-connector-hbase-1.4_2.11-1.13.5.jar ...