本篇简单介绍一下业界流行的大数据权限管理框架Apache Sentry和Ranger。 Apache Sentry Sentry是由Cloudera公司内部开发而来的,初衷是为了让用户能够细粒度的控制Hadoop系统中的数据(这里主要指HDFS,Hive的数据)。所以Sentry对HDFS,Hive以及同样由Cloudera开发的Impala有着很好的支持性。 Apache Ranger Ranger则是由于另一家...
五、Ranger功能介绍-审计日志 作为一个企业大数据平台,它的基础服务会被大量上层应用使用(例如HDFS,HBase等)。对平台中基础组件对操作进行追溯也是一项必不可少对功能,Ranger就能帮助实现审计日志对功能。Ranger为我们提供了四类审计日志功能,即访问日志,管理员日志,登陆会话日志,插件日志。 1、访问日志 访问日志主要记...
第四个优势也是最关键的一点,是我们调研发现,业内的 CDP 7.0 之后,整体的权限方案都切换为Ranger,包括业内的一些存储引擎,比如alluxio等等也都在集成Ranger。因此我们有了一个基本的判断,就是在大数据的生态, Ranger已经基本成为一个事实上的标准或者是一个业内主流的发展方向了。为了以后社区安全的新功能更好的集成...
换句话说,当新来一个用户时,我们赋予它的是一个身份角色,然后这个用户的执行权限操作完全由统一的角色本身所允许的一些权限。基于角色的访问控制,能够大大减轻系统对于大数据量用户的直接ACL控制。 下面就简单介绍一下两种权限授权管理框架: Sentry Sentry的架构模型 DataEngine指的是具体的数据应用程序,这里指的是HDFS,...
在大数据平台中,有海量数据存储,通畅在采集数据过程中敏感数据有意或者无意的进入大数据平台中,数据安全管理非常重要。我们不希望一些敏感数据被他人访问,希望可以按照一种规则给部分人访问权限,以防止数据泄露,针对数据安全管理可以使用Apache Ranger实现。 一、Ranger介绍 ...
3.3 修改配置文件 3.3.1 install.properties 路径 /srv/datalight/RANGER/ranger-2.4.0-usersync/...
前文介绍了Ranger的优势,不过仅用Ranger是无法完全解决企业中的大数据安全的问题。一个好的安全平台需要做到五点。 第一点是安全性,我们需要的是既防君子、也防小人的安全平台,它不同于一般的业务平台主要考虑易用性,还要考虑被恶意攻击或者绕开的问题。
ranger大数据领域的一个集中式安全管理框架,它可以对诸如hdfs、hive、kafka、storm等组件进行细粒度的权限控制。比如它可以控制用户读取hdfs文件的权限,甚至可以控制某个用户对hive某个列访问的权限。 ranger目前支持的组件: [图片上传失败...(image-d3be34-1547276660260)] ...
本篇简单介绍一下业界流行的大数据权限管理框架Apache Sentry和Ranger。 Apache Sentry Sentry是由Cloudera公司内部开发而来的,初衷是为了让用户能够细粒度的控制Hadoop系统中的数据(这里主要指HDFS,Hive的数据)。所以Sentry对HDFS,Hive以及同样由Cloudera开发的Impala有着很好的支持性。
2021年加入B站,专注于开源大数据技术,在团队中主要负责Presto、Alluxio组件的研发。 01 背景 随着云计算、大数据技术的日趋成熟,复杂多元、规模庞大的数据所蕴含的经济价值和社会价值逐步凸显,数据安全也是企业面临的巨大挑战,B站一直致力于对用户隐私数据的保护。