首先在flinksql的client中创建一个hive的catalog,需要确保flinksql客户端的节点上有hive的相关配置文件hive-site.xml,另外注意hive中的metastore不允许是Embedded类型的,hive-site.xml中需要有明确的hive.metastore.uris配置 CREATE CATALOG hive_catalog WITH ( 'type' = 'hive', 'hive-conf-dir' = '/opt/apache/...
sql-client.sh embedded 下面是空的因为新集群没有数据,下面到hive去创建点数据 重新执行sql-client.sh embedded进入SQL client发现已经能看见了。 查询发现报错了。 6、排错 排查了下看8081端口都没有起来 最后发现是社区hive connector的兼容性问题,之前的冲突是1.10.2导致的,理论上vvr-1.10可以使用社区的hive-con...
embedded-d/opt/soft/flink/conf/sql-client-hive.yaml-l/opt/soft/flink/lib##-d 指定sql-client yaml配制文件##-l 指定要加载的library jar包的路径 代码语言:javascript 复制 运行SqlClient.java: 由上图可以看到,可读取hive的库,在hive tmp库里建表test1后,用flink sql也能读到了 5、遇到的问题 5.1 ...
进行这一步,首先要保证集群的hadoop是正常运行的,hive也是正常可访问的 4.1 启动sql_client sql_client的入口是SqlClient.java类,我们主要也是运行SqlClient.java的main方法,为该类运行配制一些参数: Program arguments处只输入embedded,相当于执行sql-client.shembedded命令 Environment variables处需要配制FLINK_CONF_DIR...
flink_sql_client 1.10 与 hive集成 读取实时数据 很期待用纯sql的形式来处理流式数据,flink 1.10推出了生产可用的Hive集成,拥有了更强的流式 SQL 处理能力。这次我们就来尝试一下啦~~ 【本文大纲】1、环境准备2、SQL Client与hive集成配置3、用SQL Client读取kafka数据...
根据官网的提示:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/hive/ 找不到包可以在阿里云下载:https://maven.aliyun.com/mvn/search 连接hive的yaml配置 sql-client-hive.yaml sql-client-hive.yaml 3、配置完成,重启hive,以及flink ...
说明:本人使用的cdh版本是5.13.2,对应的hive版本是1.1.0-cdh5.13.2,flink版本为1.10。以下为配置过程: 首先修改flink-1.10/conf/sql-client-defaults.yaml配置,为hive配置catalog相关参数,cdh版本的hive-conf目录为:/etc/hive/conf.cloudera.hive: #===# Catalogs#===# Define catalogs here.#catalogs: ...
Flink 1.11.0开始实现了File System Connector,可直接使用FlinkSql写出支持分区的流式读写本地或分布式文件系统程序。 该Connector为内嵌,不需要任何依赖。 1.2 Partition Files Flink支持标准hive分区格式,但并非必须提前在Catalog注册分区,因为Flink可通过目录结构推断。 比如以下目录可推断出分区包含datetime 和hour 1.3 ...
1)修改sql-client-defaults.yaml catalogs: - name: myhive type: hive hive-conf-dir: /opt/clienrc5/Hive/config hive-version: 3.1.0 2)在/opt/clienrc5/Hive/config/hive-site.xml添加配置 <property> <name>hive.metastore.sasl.enabled</name> ...
Flink SQL 连接hive 最近在调研flink sql连接hive,初次使用踩了许多坑,记录一下。 首先idea运行需要Windows上安装Hadoop环境,并配置好环境变量,否则报$HADOOP_HOME找不到的错误。 配置完成后进入到Linux服务器上已有的Hadoop环境,将core-site.xml文件和hdfs-site.xml文件放到idea代码的resource目录下。