Flink通过SPI寻找到JDBC对应的TableSource,内部会执行下面的方法创建inputformat,其中164行的query就是真正提交给jdbc执行的代码。 仔细看代码165行,conditionFields传入的值总是为空,因此这坨sql根本不会出现where条件(只有当分区字段存在时,flink才会基于分区字段生成where条件;而我们自己sql中的where条件直接被忽略了)。...
Flink通过SPI寻找到JDBC对应的TableSource,内部会执行下面的方法创建inputformat,其中164行的query就是真正提交给jdbc执行的代码。 仔细看代码165行,conditionFields传入的值总是为空,因此这坨sql根本不会出现where条件(只有当分区字段存在时,flink才会基于分区字段生成where条件;而我们自己sql中的where条件直接被忽略了)。...
5、JDBC 增加依赖 <dependency><groupId>org.apache.flink</groupId><artifactId>flink-connector-jdbc</artifactId><version>1.15.0</version></dependency> jdbc source --- 有界流 jdbc 字段按照名称和类型进行映射的,flink sql中表的字段和类型必须和数据库中保持一致 -- 创建jdbc source表CREATETABLEstudent_...
在 Flink 1.11 后，可以将它声明成 Changelog 的格式，Flink 内部机制支持 Interpret Changelog，可以原生识别出这个特殊的流，将其转换为 Flink 的 Changlog Stream，并按照 SQL 的语义处理；同理，Flink SQL 也具有输出 Change Stream 的能力 （Flink 1.11 暂无内置实现），这就意味着，你可以将任意类型的 SQL...
tEnv.executeSql(sourceTable); // 注册输出表 String sinkTable = "CREATE TABLE result (product_id INT, total_quantity INT) " + "WITH ('connector.type' = 'jdbc', 'connector.url' = 'jdbc:mysql://localhost:3306/result', 'connector.table' = 'sales')"; ...
git clone https://github.com/apache/flink-connector-jdbc.git 入口分析 类关系 flink的connector都是通过spi注入的,可以直接目录src/main/resources/META-INF/services下文件。 类 public class JdbcDynamicTableFactory implements DynamicTableSourceFactory, DynamicTableSinkFactory {} ...
Source 继承 RichParallelSourceFunction 构造方法中接收配置参数 open 方法中创建 jdbc 连接,基于主键查询表中的最大值,最小值 run 方法中,基于任务的并行度,将数据按主键,均分给每个并行度 每个并行度分批次读取分给自己的数据 MysqlOption 并行source,最重要的是基于键,将数据均分到每个并行度;同时在读取的时候...
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.13.1</flink.version> <scala.binary.version>2.11</scala.binary.version> <clickhouse-jdbc-version>0.3.0</clickhouse-jdbc-version> </properties> <packaging>jar</packaging> ...
Flink SQL CDC + JDBC Connector 本质上是一个 Source 和 Sink 并行度为 1 的Flink Stream Application，Source 和 Sink 之间无 Operator，下面我们逐步分析 Flink SQL CDC + JDBC Connector 端到端如何保证一致性。6.1 端到端一致性实现条件 一致性就是业务正确性，在“流系统中间件”这个业务领域，端到端...