这样,Flink 就会从 Kafka 的 input_topic 主题中读取数据,每隔五分钟按定义的 SQL 查询进行处理,并将结果写入 output_topic 主题。
有了数据源后,我们就可以用 DDL 去创建并连接这个 Kafka 中的 topic(详见 src/main/resources/q1.sql)。 CREATE TABLE user_log ( user_id VARCHAR, item_id VARCHAR, category_id VARCHAR, behavior VARCHAR, ts TIMESTAMP ) WITH ( 'connector.type' = 'kafka', -- 使用 kafka connector 'connector.ver...
Kafka Connector 提供了从 Kafka topic 中消费和写入数据的能力。 1. 依赖 无论是使用构建自动化工具(例如 Maven 或 SBT)的项目还是带有 SQL JAR 包的 SQL 客户端,如果想使用 Kafka Connector,都需要引入如下依赖项: 代码语言:javascript 复制 <dependency> <groupId>org.apache.flink</groupId> <artifactId>...
//FlinkKafkaProducer011<String> myProducer = new FlinkKafkaProducer011<>(brokerList, topic, new SimpleStringSchema()); //使用仅一次语义的kafkaProducer FlinkKafkaProducer011<String> myProducer = new FlinkKafkaProducer011<>(topic, new KeyedSerializationSchemaWrapper<String>(new SimpleStringSchema()), p...
首先我们通过Flink SQL 创建Kafka表 CREATETABLEuser_log(user_idVARCHAR,item_idVARCHAR,category_idVARCHAR,behaviorVARCHAR,tsvarchar)WITH('connector.type'='kafka','connector.version'='universal','connector.topic'='user_behavior','connector.startup-mode'='earliest-offset','connector.properties.0.key'=...
这份代码主要由两部分组成:1) 能用来提交 SQL 文件的 SqlSubmit 实现。2) 用于演示的 SQL 示例、Kafka 启动停止脚本、 一份测试数据集、Kafka 数据源生成器。 通过本实战,你将学到: 如何使用 Blink Planner 一个简单的 SqlSubmit 是如何实现的 如何用 DDL 创建一个 Kafka 源表和 MySQL 结果表 ...
在这一部分Flink通过SQLcreate table语句的方式,创建出对应的table。 以Kafka数据源端或输出端为例,Flink官网对它详细配置的解释如下: CREATETABLEMyUserTable(...)WITH('connector.type'='kafka','connector.version'='0.11',-- required: valid connector versions are-- "0.8", "0.9", "0.10", "0.11", ...
flink 使用sql实现kafka生产者和消费者 1.maven依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> <flink.version>1.11.2</flink.version>...
https://www.modb.pro/db/656430 其实flink-sql-connector-kafka就是将flink-connector-kafka和kafka相关的依赖一块打包的