MetaData:将 sql create source table 转化为实际的CatalogTable、翻译为 RelNode Planning:创建 RelNode 的过程中使用 SPI 将所有的 source(DynamicTableSourceFactory)\sink(DynamicTableSinkFactory) 工厂动态加载,获取到 connector = kafka,然后从所有 source 工厂中过滤出名称为 kafka + 继承自DynamicTableSourceFactory...
'topic' = 'topic', -- sql source、sink 的 connector 连接配置 'properties.bootstrap.servers' = 'localhost:9092', -- sql source、sink 的 connector 连接配置 'properties.group.id' = 'testGroup', -- sql source、sink 的 connector 连接配置 'format' = 'json' -- sql source、sink 的序列化...
-- sql source、sink 的字段信息`f1`STRING)WITH('connector'='kafka',-- sql source、sink 的 connector 连接配置'topic'='topic',-- sql source、sink 的 connector 连接配置'properties.bootstrap.servers'='localhost:9092',-- sql source、sink 的 connector 连接配置'properties.group.id'='testGroup'...
在解析和优化以 table 编写的程序时,需要将 CatalogTable 解析为 DynamicTableSource( 用于在 SELECT 查询中读取 )和 DynamicTableSink( 用于在 INSERT INTO 语句中写入 )。 DynamicTableSourceFactory 和 DynamicTableSinkFactory 提供连接器特定的逻辑,用于将 CatalogTable 的元数据转换为 DynamicTableSource 和 Dynamic...
结合我们刚刚说的 sql source、sink 中主要包含 5 点解释一下: CREATE TABLE [IF NOT EXISTS] -- sql source、sink catalog_name、db_name、table_name ( -- sql source、sink field 字段信息 ) WITH ( -- sql source、sink connector\properties 连接配置 ...
(1) 预定义的Source&Sink 先来看一下Flink给我们提供的内置Source,这些方法都位于StreamExecutionEnvironment类中。 Flink中内置的Sink如下图,均位于DataStream类中。 基于文件的 source 和 sink 从文本文件中读取数据 env.readTextFile(path) 1 根据指定的 fileInputFormat 格式读取文件中的内容 ...
Flink SQL CDC的source并行度和sink并行度可以单独设置。你可以使用SET语句来为source和sink分别设置并行度。 对于Hologres,假设你已经创建了一个名为hologres_sink的Sink,你可以使用以下语句来设置source并行度和sink并行度: SET 'execution.parallelism.default' = <source_parallelism>; -- 设置source并行度 SET 'exe...
一旦逻辑规划完成,规划器将从表连接器获取运行时实现。 Runtime 逻辑在 Flink 的核心连接器接口中实现,例如 InputFormat 或 SourceFunction。 这些接口按另一个抽象级别分组为 ScanRuntimeProvider、LookupRuntimeProvider 和 SinkRuntimeProvider 的子类。
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.13.1</flink.version> <scala.binary.version>2.11</scala.binary.version> <clickhouse-jdbc-version>0.3.0</clickhouse-jdbc-version> </properties> <packaging>jar</packaging> ...