有鉴于此,Flink 社区提出了 FLIP-27 [9] 的改进计划,并在 Flink 1.12 实现了基础框架,在 Flink 1.13 中 kafka、hive 和 file source 已移植到新架构,开源社区的 Flink CDC connector 2.0 [11] 也基于新架构实现。 Source 新架构 基于FLIP-27 的 Source 新架构如上图所示,由两个主要部件组成:SplitEnumerator...
首先做的是简化使用Hive connector的依赖管理。Hive connector的一个痛点是需要添加若干个jar包的依赖,而且使用的Hive版本的不同,所需添加的jar包就不同。例如下图: 第一张图是使用的Hive 1.0.0版本需要添加的jar包。第二张图是用Hive 2.2.0版本需要添加的jar包。可以看出,不管是从jar包的个数、版本等,不同H...
问题五:Flink整合hive之后,通过flink创建的表,hive beeline可见表,不可见字段? 参照文档https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/#connecting-to-hive通过flink创建表:CREATE TABLE Orders (product STRING, amount INT) 在beeline端可见表,但是desc看不到字段,select * from ...
本课时我们主要介绍 Flink 中支持的 Source 和常用的 Connector。 Flink 作为实时计算领域强大的计算能力,以及与其他系统进行对接的能力都非常强大。Flink 自身实现了多种 Source 和 Connector 方法,并且还提供了多种与第三方系统进行对接的 Connector。 我们可以把这些 Source、Connector 分成以下几个大类。 预定义和自...
看看目前支持的connector: 这是官方给出的: 有些支持数据源,有些不支持数据源,有些支持无边界流式处理,有些不支持,具体看上图。 我们目前市面上用的比较多的数据库,大概是以下几种: # 支持jdbc mysql mongodb postgresql oracle db2 sybase sqlserver hive ...
下面将介绍下,在Flink 1.11版本中,对接Hive的一些新特性。 1. 简化的依赖管理 首先做的是简化使用Hive connector的依赖管理。Hive connector的一个痛点是需要添加若干个jar包的依赖,而且使用的Hive版本的不同,所需添加的jar包就不同。例如下图: 第一张图是使用的Hive 1.0.0版本需要添加的jar包。第二张图是用...
Flink通过Flink-hive-connector来连接Hive,但是连接Hive报错。 具体报错是因为: HiveMetaStoreClient连接HiveMetastore 使用的Thrift协议,但是Hive-1.x 没有实现 secure impersonation,也就是说没有支持HADOOP_PROXY_USER这个变量。 环境和版本 Hive的版本Hive-1.1.0 ...
Flink 支持以下 Hive 版本。 1.0.x(1.0.0、1.0.1),1.1.x(1.1.0、1.1.1),1.2.x(1.2.0、1.2.1、1.2.2) 2.0.x(2.0.0、2.0.1),2.1.x(2.1.0、2.1.1),2.2.0,2.3.x(2.3.0、2.3.1、2.3.2、2.3.4、2.3.5、2.3.6) 3.1.x(3.1.0、3.1.1、3.1.2) ...
flink-sql-connector-hive-3.1.3 [hotfix] Update NOTICE files to reflect year 2024 Jan 9, 2024 tools [hotfix] Add release tools as submodule Jan 11, 2024 .asf.yaml [hotfix] Setup auto-linking Nov 29, 2022 .gitignore Init repository ...
flink-connector-hive_2.11-1.12.0.jar和hive-exec-2.3.4.jar。其中hive-exec-2.3.4.jar包存在于Hive安装路径下的lib文件夹。flink-connector-hive_2.11-1.12.0.jar的下载地址为: https://repo1.maven.org/maven2/org/apache/flink/flink-connector-hive_2.11/1.12.0/ ...