这些命令使用依赖项启动 sql 客户端,如下所示: user@sshnode-0 [ ~ ]$ bin/sql-client.sh -j flink-sql-connector-postgres-cdc-2.4.2.jar -j slf4j-api-1.7.15.jar -j hamcrest-2.1.jar -j flink-shaded-guava-31.1-jre-17.0.jar -j awaitilit
docker run -d -p 30028:5432 --name postgres-10.6 -e POSTGRES_PASSWORD=postgres postgres:10.6 -c 'shared_preload_libraries=pgoutput' 1. step3: 查看容器是否创建成功: docker ps | grep postgres-10.6 1. 3. 配置 step1:docker进去Postgresql数据的容器: docker exec -it postgres-10.6 bash 1. step...
如果订阅的是postgres数据库,我们需要把connector替换成postgres-cdc,DDL中表的schema和数据库一一对应。 更加详细的配置参见: https://github.com/ververica/flink-cdc-connectors/wiki/MySQL-CDC-Connector mysql-cdc connector源码解析 接下来我们以mysql-cdc为例,看看源码层级是怎么实现的。既然作为一个sql的connector...
1. 修改 postgresql 配置文件 /data/pgsql/13/data/postgresql.conf 相关配置: # 更改wal日志方式为logical-- logical会增加支持逻辑解码所需的信息。 wal_level=logical # minimal, replica, or logical # 更改solts最大数量(默认值为10),flink-cdc默认一张表占用一个slots max_replication_slots=20# max numb...
6. flink sql -- 源表定义CREATETABLE`table_source_pg` ( idBIGINT, name STRING, ageINT)WITH('connector'='postgres-cdc','hostname'='10.194.183.120','port'='30028','username'='test1','password'='test123','database-name'='test_db','schema-name'='public','table-name'='t_user','...
'connector' = 'postgres-cdc', -- 必须为 'postgres-cdc' 'hostname' = '10.0.0.236', -- 数据库的 IP 'port' = '5432', -- 数据库的访问端口 'username' = 'root', -- 数据库访问使用的用户名(需要提供 REPLICATION 权限, 日志级别必须大于等于 logical, 且设置后需要重启实例) ...
"CREATE TABLE pgsql_source (\n" + " id int,\n" + " name STRING,\n" + " py_code STRING,\n" + " seq_no int,\n" + " description STRING\n" + ") WITH (\n" + " 'connector' = 'postgres-cdc',\n" + " 'hostname' = '***',\n" + ...
Flinkmysql-cdc connector源码解析 CDC概述 CDC,Change Data Capture,变更数据获取的简称,使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游,供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等. 用户可以在如下的场景使用cdc: 实时数据同步:比如我们将mysql库中的数据同步到我们的数仓中。
import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; public class KafkaToPostgresCDC { public static void main(String[] args) throws Exception { // 设置Flink流处理环境 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); ...
兼容PolarDB PostgreSQL版(兼容Oracle)的Flink CDC连接器(简称PolarDBO Flink CDC)可用于依次读取PolarDB PostgreSQL版(兼容Oracle)数据库全量快照数据和变更数据,具体功能及用法请参考社区Postgres CDC。 由于PolarDB PostgreSQL版(兼容Oracle)与社区PoatgreSQL仅在少量数据类型和内置对象处理存在差异,本文为您介绍如何基于社...