-- 创建表CREATETABLEword ( lines STRING )WITH('connector'='kafka','topic'='word','properties.bootstrap.servers'='master:9092,node1:9092,node2:9092','properties.group.id'='testGroup','scan.startup.mode'='earliest-offset',-- 读取所有的数据'format'='csv','csv.field-delimiter'='\t')-...
EnvironmentSettingssettings=EnvironmentSettings.newInstance()...TableEnvironmenttableEnv=TableEnvironment.create(settings);// 对已注册的表进行 SQL 查询// 注册名为 “Orders” 的表tableEnv.executeSql("CREATE TABLE Orders (`user` BIGINT, product STRING, amount INT) WITH (...)");// 在表上执行 SQL...
CREATE语句适用于当前或指定的Catalog中注册表、视图或函数。注册后的表、视图和函数可以在SQL查询中适用。 1.1.1 CREATE TABLE CREATE TABLE [catalog_name.][db_name.]table_name ( { <column_definition> | <computed_column_definition> }[ , ...n] [ <watermark_definition> ] ) [COMMENT table_comment...
Flink SQL 引入了对 CDC（Change Data Capture，变动数据捕获）的支持，它使 Flink 可以方便地通过像 Debezium 这类工具来翻译和消费数据库的变动日志。Flink SQL 扩展了类 Filesystem connector 对实时化用户场景和格式的支持，从而可以支持将流式数据从 Kafka 写入 Hive 等场景。除此之外，Flink SQL 也从多个方面...
而本节 SQL 时区旨在帮助大家了解到以下两个场景的问题: ⭐ 在 1.13 之前,DDL create table 中使用PROCTIME()指定处理时间列时,返回值类型为 TIMESTAMP(3) 类型,而 TIMESTAMP(3) 是不带任何时区信息的,默认为 UTC 时间(0 时区)。 ⭐ 使用StreamTableEnvironment::createTemporaryView将 DataStream 转为 Tabl...
元数据是SQL标准的扩展,允许访问数据本身具有的一些元数据。元数据列由METADATA关键字标识 CREATE TABLE MyTable(MyField1 INT,MyField2 STRING,MyField3 BOOLEAN--读取 kafka 本身自带的时间戳`et`TIMESTAMP_LTZ(3)METADATA FROM'timestamp')WITH('connector'='kafka'...); ...
with里的声明信息 1. ⭐ 'connector' = 'kafka' :声明外部存储是 Kafka 2. ⭐ 'topic' = 'user_behavior' :声明 Flink SQL 任务要连接的 Kafka 表的 topic 是 user_behavior 3. ⭐ 'properties.bootstrap.servers' = 'localhost:9092' :声明 Kafka 的 server ip 是 localhost:9092 ...
(order_amount) AS total_amount FROM csv_source GROUP BY user_id";// // 执行查询并打印// tableEnv.executeSql(query).print();// env.execute("Flink SQL Demo");// 定义输出数据源StringcreateSinkTableDdl="CREATE TABLE csv_sink ("+" user_id INT,"+" total_amount DOUBLE"+") WITH ("+...
以 Iceberg 举例，基于 Iceberg 0.10，现在可以在 Flink SQL 里面直接 create 一个 Iceberg catalog，在 Iceberg catalog 下可以 create table 直接创建 Iceberg表。然后提交 insert into query 就可以将流式数据导入到 Iceberg 中。然后在 Flink 中可以用 batch 模式读取这张 Iceberg 表，做离线分析。不过 Iceberg...
--数据源表CREATETABLEsource_table(--维度数据 dimSTRING,--用户 id user_idBIGINT,--用户 priceBIGINT,--事件时间戳 row_timeAScast(CURRENT_TIMESTAMPastimestamp(3)),--watermark 设置WATERMARKFORrow_timeASrow_time-INTERVAL'5'SECOND)WITH('connector'='datagen','rows-per-second'='10','fields.dim...