在Flink 1.16版本,官方即将SQL Gateway其合入Flink主线。可正式通过Flink官方包安装与启动Flink SQL Gateway。本为以Flink 1.17版本为例,介绍一种在K8s中启动Flink SQL Gateway,并连接到通过Flinkkubernetesoperator启动的Flink Session集群上。 当然,在开始一切之前,你需要一些必要的环境: 一个K8s集群 K8s集群安装有kubec...
21 次提交 提交 src 完成部分配置编写 3年前 Dockerfile 完成本机的k8s部署测试 3年前 LICENSE Initial commit 3年前 README.md 提供docker部署方案 3年前 docker-compose.yml 提供docker部署方案 3年前 pom.xml 完成根据上有数据进行筛选class级别
Flink 提供 FlinkSQL,对应的 SQL 服务组件为 Flink SQL Gateway。 在这几轮技术浪潮中,每个引擎有自己的 SQL 服务组件(我们可以统称他们为 SQL Gateway),但它们的功能其实并没有完全对齐,很多企业级的特性是缺失的,而 Kyuubi 的目标则是作为统一标准化的 SQL 网关来屏蔽掉这些差异。 1.4. SQL Gateway 对比 上...
编者按:Apache Flink 社区目前正在开发 SQL Gateway 组件,将原生提供 Flink SQL 服务化的能力,并兼容 HiveServer2 协议,计划于 1.16 版本中发布,敬请期待。感兴趣的同学可以关注 FLIP-91 和 FLIP-223 了解更多,也非常欢迎大家参与贡献。 回到我们 Flink SQL 平台,我们 StreamflySQL v1 是基于 Client 端 SQL 编...
第二个问题是,SQL Gateway 本身有提交作业的能力,这点跟我们已有的 Lambda 平台是重合的,会造成重复建设和难以统一管理的问题,比如认证授权、资源管理、监控告警等都会有两个入口。那么两者应当如何进行分工?我们最终的解决方案是,利用 Session Cluster 的两阶段调度,即资源...
SQL FROM --platform=linux/amd64 flink:1.19.0 ADD WordCount.jar /opt/flink/examples/WordCount.jar 使用flink 1.19.0 版本,将我们的jar包拷贝进镜像中。如果有依赖,需要同步拷贝依赖进入到/opt/flink/libs 中; 制作镜像 SQL docker build -t flink. ...
如上图所示,Flink Sql Gateway的架构比较简单,主要组件是SqlGatewayEndpoint,它是基于Flink的RestServerEndpoint实现的一个Netty服务,通过自定义实现多种handler来完成sql任务的创建和部署,以及管理的能力。SqlGatewayEndpoint内部主要由SessionManager(会话管理)组成,SessionManager维护了一个session map,而session内部主要是一些...
1.11 之后，Flink 集成 hive 逐渐完善，平台重构了 FlinkSQL 框架，通过部署一个 SQL - gateway service 服务，中间调用自己维护的 SQL - client jar 包，从而与离线元数据打通，实现了实时离线元数据统一，为之后的流批一体做好工作。在元数据管理系统创建的 Flink 表操作界面如下所示，创建 Flink 表的元数据，...
计算层则使用 Flink 进行出入湖,其中 Flink SQL 是最常用的出入湖方式,同时也用 Flink Datastream API 开发了一些高阶功能,出入湖的作业使用 Flink Application Mode 运行在 K8s 上。然后通过 Flink SQL Gateway 和 Session Mode 的 Flink Cluster 进行 OLAP 查询,提供了 JDBC 和 REST API 两种接口的返回结果。