./bin/sql-gateway.sh --help Usage: sql-gateway.sh [start|start-foreground|stop|stop-all] [args] commands: start - Run a SQL Gateway as a daemon start-foreground - Run a SQL Gateway as a console application stop - Stop the SQL Gateway daemon stop-all - Stop all the SQL Gateway daem...
start - Run a SQL Gateway as a daemon start-foreground - Run a SQL Gateway as a console application stop - Stop the SQL Gateway daemon stop-all - Stop all the SQL Gateway daemons -h | --help - Show this help message “start” 或者 “start-foreground” 命令可以使你在 CLI 中配置 SQ...
首先根据官方文档可知,flink-sql-gateway的启动方式为执行 ${FLINK_HOME}/bin/sql-gateway.sh 脚本,我们来看该脚本的主要内容:该脚本主要做了两件事: 读取config.sh的配置 执行SQL gateway的具体启动逻辑 以下是核心内容源码: ENTRYPOINT=sql-gateway if [[ "$1" = *--help ]] || [[ "$1" = *-h ]...
启动SqlGateway: ./bin/sql-gateway.sh start -Dsql-gateway.endpoint.rest.address=localhost 默认绑定端口8083 二:调用 1.beeline 调用 1.1 需要下载flink-sql-jdbc-driver-bundle-1.18.0.jar 并放到 {HIVE_HOME}/lib下 2.jdbc 客户端 使用./bin/beeline !connect jdbc:flink://localhost:8083 链接到已经启...
SQL Gateway能够找到Flink Yarn集群对应的application id,并且将作业提交给这个集群。 配置项 可以通过如下方式动态指定SQL Gateway的配置项 $FLINK_HOME/bin/sql-gateway.sh -Dkey=value 官网给出的配置项列表如下: sql-gateway.session.check-interval: 多长时间检查一次session是否超时。配置为0或者负数可以禁止这个行...
1.使用合适的数据存储格式:选择合适的数据存储格式可以显著提高SQL Gateway的性能。通常情况下,Parquet和ORC格式是性能较好的选择。 2.利用内存缓存:Flink的SQL Gateway可以配置内存缓存,将频繁访问的数据存储在内存中,以提高查询性能。 3.并行查询:SQL Gateway支持并行查询,可以通过配置并行度参数来提高查询的并发处理能...
默认情况下,SQL Gateway 的配置文件位于 /opt/sql-gateway/conf/sql-gateway.yaml。 例如,您可以在配置文件中添加以下配置: flink: url: "http://<flink-master>:8081" 其中<flink-master> 是Flink 集群的主节点的 IP 地址或域名。 使用SQL Gateway 访问 Flink 集群。您可以在浏览器中访问 SQL Gateway 的...
sql-gateway支持hive catalog设置 修改配置文件。注意下gateway启动的配置文件路径 image.png 设置hive的catalog image.png 保存后,重启gateway,使用beeline再次连接,会提示错误。原因在于缺少jar包。 下载flink源码(注意版本对应)进行编译,编译完毕后,拷贝如下几个jar,原因在于flink默认不提供hive的connector,需要我们自己去...
最近公司想通过JDBC的方式使用flink sql gateway,Flink官方提供了HiveServer2的flink-sql-gateway使用方式,但是Flink官方这里使用的是HiveCatalog,是在代码里写死的不可配置的,由于业务上没有使用Hive的需求,考虑到想以最轻量化的方式使用该sql-gateway,于是选择将源码中的HiveCatalog修改为公司自研的Catalog。以下为在实...
Flink SQL Gateway提供了一个RESTfulAPI,客户端可以使用HTTP请求将SQL查询提交给Gateway。Gateway会将查询转发给Flink集群,并返回查询结果给客户端。这使得通过其他应用程序或服务提交SQL查询成为可能,如Web应用程序或自动化任务。 2.示例: 使用HTTP POST请求提交SQL查询的示例: 假设你已经设置了Flink SQL Gateway,并获取...