共享存储:RBF提供了共享存储来实现挂载表,在服务端额外启动Router的服务。Router提供了NameNode相同的接口给客户端直接使用,因此schema与HDFS完全相同。 透明访问:RBF扩展了一个负责管理联邦namespace的服务层,这一层允许用户透明地访问任何子集群。每个子集群独立管理自己的块池,同时RBF也支持跨子集群的数据再平衡。 与V...
hdfs-rbf-site.xml 中,做如下配置:<proterty><name>dfs.federation.router.mount-table.cache.enable</name><value>true</value></proterty>禁止 Router 自动监听本地 NameNode.默认情况下,Router 仅自动监听本地 NameNode,实际使用中,我们会手动配置 Router 需要监听的所有 NN.在 Router 侧,hdfs-rbf-...
# 启动# 第一次启动后router会进入safemode, 注意观察日志[gc_poc_al@test.bigdata.song483w ~]$ sudo hdfs --daemon start dfsrouter[gc_poc_al@test.bigdata.song487w ~]$ sudo hdfs --daemon start dfsrouter# 60s后会自动退出safemodehdfs dfsrouteradmin -safemode leave# 停止[gc_poc_al@test.b...
这可是HDFS FileSystem定义接口中的2个必须实现的方法。 与上节一样,这2个API在语义上与在单一集群模式下是完全不同的: setQuota:为federation路径设置quota值。因为federation路径是虚拟的,它的转化含义为:为federation路径下所属的所有真实的hdfs路径设置quota值,这里是需要包括其子路径对应的集群路径地址的。 getQu...
【赵渝强老师】基于RBF的HDFS联邦架构 在最新的Hadoop版本中又实现了基于Router的联盟架构,并且在这个架构之上还实现了许多增强集群管理能力的特性。Router将挂载表从客户端中抽离了出来,解决了ViewFS存在的问题。 视频讲解如下: 【赵渝强老师】基于RBF的HDFS联邦架构...
本节课我们来讨论一下基于RBF的HDFS联邦架构。HDFS是hadoop的分布式文件系统,其中name node是主节点,Data node是从节点客户端将读写请求发送给name node, 从而读写存储在data node上的数据。如果只存在一个name node, 它将负责接收所有客户端的请求,这就必然成为整个系统的性能瓶颈。为了解决这一问题,HDFS提供了联邦...
其实在目前发布的版本中,HDFS RBF特性单纯实现了一个最基本功能的版本,里面还有很多地方可以继续完善,使之与当前的HDFS完全匹配,比如目前还没有支持的改进点有例如:webHDFS, 安全认证,Quota配额支持,ACL管控等等。不过不用担心,这些提到的点,社区都将会在RBF第二阶段的工作中进行完善(详见社区JIRA:HDFS-12615,想必...
RBF的资源隔离和FCQ的资源隔离 RBF的fairness管控原理 引用 前言 Hadoop社区在HDFS-10467中实现了基于路由的federation功能,此功能比原先传统的HDFS federation+viewfs的方式有了很大的改进,真正做到了基于后端的路由映射,而不是viewfs在客户端做地址解析转发。基于后端来做的话,背后的mount映射管理权就归到了系统管理员...
RBF的Connection管理 细粒度的Connection Pool划分 在RBF模式下,Router一方面要面对不同client发来的RPC请求,另一方面它还需要转发请求到多个namespace的NN节点。为了做到不同namespace,不同用户间Connection的隔离,Router在这里按照user/namespace/protocol级别进行了Connection的隔离。简单来说,Router按照上述提到的3个维度进...
简单聊聊HDFS RBF第二阶段工作近期的一些进展 前言 前些时间Apache Hadoop 3.1.0版本正式发布,里面新增了很多feature以及一些bug fix,improvement改进。因为笔者本人最近几个月一直跟进,参与的是HDFS RBF这块,所以就简单聊聊这块所做的一些事情,旨在帮助大家方便了解这个feature具体做什么的。如果还有同学对RBF完全不太了解...