Catalog 提供了一个统一的API,用于管理元数据,并使其可以从 Table API 和 SQL 查询语句中来访问。 2)Catalog 类型 GenericInMemoryCatalog:GenericInMemoryCatalog 是基于内存实现的 Catalog,所有元数据只在 session 的生命周期内可用。 JdbcCatalog:JdbcCatalog 使得用户可以将 Flink 通过 JDBC 协议连接到关系数据库。
本文主要讲了flink sql与kafka结合的多种方式,对于datastream相关操作可以一般采用addsource和addsink的方式,对于想使用flink的朋友们,kafkajsontablesource和kafkajsontablesink在逐步废弃掉,可以采用connector和catalog的形式,尤其是后者在实现平台的过程中也是非常之靠谱好用的。
Kafka010JsonTableSource和Kafka010JsonTableSink 3.自定义catalog 通过自定义catalog的形式,这种类型暂时不讲后面会有视频教程放到知识星球里。 ExternalCatalog catalog = new InMemoryExternalCatalog(); // register the ExternalCatalog catalog tableEnv.registerExternalCatalog("InMemCatalog", catalog); 4.connector...
3、如果在sql-client中使用hive的catalog 修改sql-client-defaults.yaml catalogs: - name: myhive type: hive hive-conf-dir: /usr/local/soft/hive-1.2.1/conf default-database: default 4、在sql-client中使用hive的catalog sql-client.sh embedded 这里要首先切换元数据的位置 show catalogs; USE CATALOG ...
创建新文件夹kafka, 增加 flink-json-1.11.2.jar, flink-sql-connector-kafka_2.12-1.11.2.jar (可以通过maven来下载到本地,再复制到kafka文件夹里) <dependency><groupId>org.apache.flink</groupId><artifactId>flink-sql-connector-kafka_2.12</artifactId><version>1.11.2</version></dependency><dependency...
2 创建 holo catalog (参考https://help.aliyun.com/document_detail/290056.html) 3 编写作业 创建flinksql作业 CREATE TEMPORARY TABLE kafkaTable (`offset` INT NOT NULL METADATA,`part` BIGINT NOT NULL METADATA FROM 'partition',PRIMARY KEY (`part`, `offset`) NOT ENFORCED) WITH ('connector' =...
Flink 1.10与1.9相比又是个船新版本,在我们感兴趣的很多方面都有改进,特别是Flink SQL。本文用根据埋点日志计算PV、UV的简单示例来体验Flink 1.10的两个重要新特性,一是SQL DDL对事件时间的支持,二是Hive Metastore作为Flink的元数据存储(即HiveCatalog)。这两点将会为我们构建实时数仓提供很大的便利。
在这里面我举个例子,Kafka 里面存储的是一个 JSON 类型,那 Catalog 本身就可以对每一种字段的类型根据它 JOSN 的内容进行一个推导,把每一条数据映射到表里面的每一个行,这样就完成了对 Kafka 统一的抽象,对终端用户来讲如果使用这个 Kafka catalog ,就没有必要反复去配置这个 Kafka 集群的一些信息,想要哪一个...
要使用Flink SQL读取Kafka数据,需要按照以下步骤进行操作: 在Flink项目的pom.xml文件中添加Kafka依赖: <dependency><groupId>org.apache.flink</groupId><artifactId>flink-connector-kafka_2.12</artifactId><version>${flink.version}</version></dependency> ...