我们可以编写一个简单的 Spark 应用,以验证鉴权效果。 importorg.apache.spark.sql.SparkSessionobjectKyuubiAuthzExample{defmain(args:Array[String]):Unit={valspark=SparkSession.builder().appName("Kyuubi Authz Example").getOrCreate()// 假设用户A有读取权限valdf=spark.sql("SELECT * FROM sales")df.sho...
权限管理优化：Spark AuthZ插件得到了持续改进，现在支持数据湖Hudi和Delta Lake表格式的权限管理，提升了系统的安全性。Kubernetes部署改进：Kyuubi和Spark的Kubernetes部署也得到了进一步的优化和改进。用户可以访问Apache Kyuubi官方网站（https://kyuubi.apache.org/zh/release/1.9.0.html）查看完整的更改记录和详细信息...
打包编译 git clone -b v1.6.1-incubating-rc2 git@github.com:apache/incubator-kyuubi.git build/mvn clean package -pl :kyuubi-spark-authz_2.12 -DskipTests -Dspark.version=3.3.0 -Dranger.version=2.1.0 安装 kyuubi-spark-authz_*.jarand its transitive dependencies available for spark runtime class...
此前Kent Yao在Apache Submarine中提供了Spark对接Ranger安全插件,在其开源Apache Kyuubi后重构并放到此项项目中。 Apache Kyuubi从1.6.0版本起,提供了Authz插件,是Spark生态下对接Apache Ranger权控策略的唯一选择。其规则定义遵循了Ranger中Hive规则风格,完整支持Ranger各项关键特性,覆盖库表列权限、行过滤、列遮蔽等...
Kyuubi 的权限插件 AuthZ 提供了三个功能。 功能一,表列级别细粒度权限管控; 功能二,行级别的细粒度权限管控; 功能三,数据脱敏。 Spark Catalyst 的执行过程如下图所示。Spark 获取 SQL 进行解析,将 SQL、DataFrame、DataSet 转化为 Unresolved Logical Plan,再结合 Catalog 进行 Analyzer 生成 Logical Plan,通过 Op...
Apache Kyuubi 是一个构建在 Spark、Flink、Trino 等计算引擎之上的,分布式、多租户的企业级大数据网关,致力于在 Lakehouse 之上提供 Serverless SQL 服务。 Kyuubi 支持多种类型的工作负载。典型的使用场景包括:使用 JDBC/BeeLine 以及各种 BI 工具,连接 Kyuubi 进行交互式的数据分析;使用 RESTful API 向 Kyuubi 提交...
<!-- https://mvnrepository.com/artifact/org.apache.kyuubi/kyuubi-spark-authz --> <dependency> <groupId>org.apache.kyuubi</groupId> <artifactId>kyuubi-spark-authz_2.12</artifactId> <version>1.6.1-incubating</version> </dependency> Include comment with link to declaration Compile...
至此,Kyuubi WebUI Basic LDAP安全认证实践记录完成。至于更精细的库、表、列权限管理可以基于Ranger和Kyuubi插件kyuubi-spark-authz配合完成。 LDAP入门实践(可选) OpenLDAP软件是LDAP协议的开源实现,具体包括lloadd(负载均衡进程)、slapd(服务端进程)、libraries(工具和样例)。
Kyuubi Spark Engine 从 Spark3.1 版本开始就提供了一个企业级插件,比如自动小文件合并,限制扫描的最大分区数,以及限制查询结果大小,并提供了一个开箱即用的 Z-Order 优化来支持计算写入 Stage 的配置隔离。同时在 1.6.0 中,又新增了 Spark TPC-DS 和 TPC-H 连接器,以及 Authz 认证的插件。
例如设置spark.files.overwrite=true方便部分用户重复提交 jar 包以及测试自定义 UDF 函数;设置spark.sql.autoBroadcastJoinThreshold=-1关闭自动 Broadcast 以提高稳定性等。 ### 遗留问题 在原有架构中,我们以最简单的方式引入 Kyuubi,为客户提供了另一种查询引擎的可能,但是这样的引入很明显存在其短板:...