./bin/sql-gateway.sh --help Usage: sql-gateway.sh [start|start-foreground|stop|stop-all] [args] commands: start - Run a SQL Gateway as a daemon start-foreground - Run a SQL Gateway as a console application stop - Stop the SQL Gateway daemon stop-all - Stop all the SQL Gateway daem...
首先根据官方文档可知,flink-sql-gateway的启动方式为执行 ${FLINK_HOME}/bin/sql-gateway.sh 脚本,我们来看该脚本的主要内容:该脚本主要做了两件事: 读取config.sh的配置 执行SQL gateway的具体启动逻辑 以下是核心内容源码: ENTRYPOINT=sql-gateway if [[ "$1" = *--help ]] || [[ "$1" = *-h ]...
$FLINK_HOME/bin/sql-gateway.sh -Dkey=value 官网给出的配置项列表如下: sql-gateway.session.check-interval: 多长时间检查一次session是否超时。配置为0或者负数可以禁止这个行为。 sql-gateway.session.idle-timeout: session的超时时间,超时的session会被自动关闭。同样配置为0或者负数可以禁止这个行为。 sql-gatew...
SQL Gateway 默认集成 REST Endpoint。由于架构的可扩展性,用户可以通过指定 endpoint 来启动 SQL Gateway。 $ ./bin/sql-gateway.sh start -Dsql-gateway.endpoint.type=hiveserver2 或者在conf/flink-conf.yaml中增加如下配置: sql-gateway.endpoint.type: hiveserver2 如果CLI 命令和 flink-conf.yaml 都有sql-...
增加配置 execution.target: yarn-per-job 设置flink环境变量 export FLINK_HOME=/opt/flink 启动sql gatway image.png 使用beeline连接到sql gateway SeeWei1985/flink-jdbc-driver (github.com) 可以直接下载 image.png 将这个jar包放到hive的lib下。 使用beeline命令 连接到sql gateway image.png 之后,就可以使用...
一:安装 sqlgateway 环境 1.1. on session 1.1 先启动session 设置环境变量:HADOOP_CLASSPATH exportHADOOP_CLASSPATH=`hadoop classpath` ./bin/yarn-session.sh -d -s 2 -jm 2048 -tm 2048 1.2.on perjob 启动SqlGateway: ./bin/sql-gateway.sh start -Dsql-gateway.endpoint.rest.address=localhost ...
1.使用合适的数据存储格式:选择合适的数据存储格式可以显著提高SQL Gateway的性能。通常情况下,Parquet和ORC格式是性能较好的选择。 2.利用内存缓存:Flink的SQL Gateway可以配置内存缓存,将频繁访问的数据存储在内存中,以提高查询性能。 3.并行查询:SQL Gateway支持并行查询,可以通过配置并行度参数来提高查询的并发处理能...
默认情况下,SQL Gateway 的配置文件位于 /opt/sql-gateway/conf/sql-gateway.yaml。 例如,您可以在配置文件中添加以下配置: flink: url: "http://<flink-master>:8081" 其中<flink-master> 是Flink 集群的主节点的 IP 地址或域名。 使用SQL Gateway 访问 Flink 集群。您可以在浏览器中访问 SQL Gateway 的...
最近公司想通过JDBC的方式使用flink sql gateway,Flink官方提供了HiveServer2的flink-sql-gateway使用方式,但是Flink官方这里使用的是HiveCatalog,是在代码里写死的不可配置的,由于业务上没有使用Hive的需求,考虑到想以最轻量化的方式使用该sql-gateway,于是选择将源码中的HiveCatalog修改为公司自研的Catalog。以下为在实...
Flink SQL Gateway提供了一个RESTfulAPI,客户端可以使用HTTP请求将SQL查询提交给Gateway。Gateway会将查询转发给Flink集群,并返回查询结果给客户端。这使得通过其他应用程序或服务提交SQL查询成为可能,如Web应用程序或自动化任务。 2.示例: 使用HTTP POST请求提交SQL查询的示例: 假设你已经设置了Flink SQL Gateway,并获取...