Flink SQL Gateway概述 Flink Sql Gateway是Flink集群的“任务网关”,支持以rest api的形式提交查询、插入、删除等任务。 Sql Gateway其实内部说白了就是一个SessionManager会话管理器以及一个SqlGatewayEndpoint网络服务器。 其中SqlGatewayEndpoint是基于runtime.rest.RestServerEndpoint实现的Netty服务器,通过统一的架构设计...
./bin/sql-gateway.sh --help Usage: sql-gateway.sh [start|start-foreground|stop|stop-all] [args] commands: start - Run a SQL Gateway as a daemon start-foreground - Run a SQL Gateway as a console application stop - Stop the SQL Gateway daemon stop-all - Stop all the SQL Gateway daem...
SQL Gateway 默认集成 REST Endpoint。由于架构的可扩展性,用户可以通过指定 endpoint 来启动 SQL Gateway。 $ ./bin/sql-gateway.sh start -Dsql-gateway.endpoint.type=hiveserver2 或者在conf/flink-conf.yaml中增加如下配置: sql-gateway.endpoint.type: hiveserver2 如果CLI 命令和 flink-conf.yaml 都有sql-...
curl --request POST http://sql-gateway-ip:8083/v1/sessions/${sessionHandle}/statements/ --data '{"statement": "SELECT 1"}' 我们替换sessionHandle为上面返回的sessionHandle,实际命令如下: curl --request POST http://sql-gateway-ip:8083/v1/sessions/2f35eb7e-97f0-40a4-b22d-f49c3a8fe7ef/stat...
使用Flink的SQL Gateway迁移HiveSQL任务 前言 我们有数万个离线任务,主要还是默认的DataPhin调度CDP集群的Hive On Tez这种低成本任务,当然也有PySpark、打Jar包的Spark和打Jar包的Flink任务这种高成本的任务【Java和Scala都有】。毕竟SQL上手门槛极低,是个人都能写几下并且跑起来,还可以很容易看到run成功的数据长得像...
kubectl apply-f flink-sql-gateway-deployment.yaml 得到: 查看日志: 现在创建一个NodePort,将该Deployment的8083端口映射到主机端口: 代码语言:javascript 复制 apiVersion:v1kind:Servicemetadata:labels:expose:"true"app:flink-sql-gatewayname:flink-sql-gatewaynamespace:defaultspec:type:NodePortports:-name:http...
使用beeline连接到sql gateway SeeWei1985/flink-jdbc-driver (github.com) 可以直接下载 image.png 将这个jar包放到hive的lib下。 使用beeline命令 连接到sql gateway image.png 之后,就可以使用sql命令来查看catalog,database,table等信息,以及使用sql语句。 支持哪些语句,参考 flink-sql-gateway的文档。 image.png...
以下是Flink SQL Gateway的介绍和示例: 1.介绍: Flink SQL Gateway提供了一个RESTfulAPI,客户端可以使用HTTP请求将SQL查询提交给Gateway。Gateway会将查询转发给Flink集群,并返回查询结果给客户端。这使得通过其他应用程序或服务提交SQL查询成为可能,如Web应用程序或自动化任务。 2.示例: 使用HTTP POST请求提交SQL查询...
如上图所示,Flink Sql Gateway的架构比较简单,主要组件是SqlGatewayEndpoint,它是基于Flink的RestServerEndpoint实现的一个Netty服务,通过自定义实现多种handler来完成sql任务的创建和部署,以及管理的能力。SqlGatewayEndpoint内部主要由SessionManager(会话管理)组成,SessionManager维护了一个session map,而session内部主要是一些...