HDFS 使用 RBF 注意事项

一 NameNode

NN 启用 RPC context 特性，在审计日志中打印真实的客户端 IP.

默认情况下，NN 的审计日志记录的所有请求的源 IP 都是 Router，如果要看到真正的 client IP，需要在 NameNode 侧，hdfs-site.xml 中，使能 callerContext，之后在 NN 审计日志中，将在 CallerContext 字段记录此次 RPC 请求的真实 IP：

在 NameNode 侧，hdfs-site.xml 中，做如下配置：

<name>hadoop.caller.context.enabled</name>

<value>true</value>

客户端随机选择 router，而不是总选择第一个.

默认情况下，在客户端配置了多个 router 时，客户端总是优先使用第一个 router，如果所有客户端都是这种行为的话，很可能会造成第一个 router 累死，而其它 router 饿死，为了防止这种情况出现，需要让客户端随机选取 router。

在 Client 侧，hdfs-site.xml 中，做如下配置：

<name>dfs.client.failover.random.order</name>

<value>true</value>

三 Router

配置 ganglia 监控

Router 的监控信息，也需要输出到 ganglia 上

在 Router 侧，hadoop-metrics2.properties 中，增加下面配置：

增大 Router RPC server 的 reader count 和 handler count.

默认情况下，router 的 handler count 为10，reader count 为1，这些值都太小，需要加大.

在 Router 侧，hdfs-rbf-site.xml 中，将 RPC handler count 配置为 4096：

<name>dfs.federation.router.handler.count</name>

<value>4096</value>

将RPC reader count配置为16：

<name>dfs.federation.router.reader.count</name>

<value>16</value>

开启各个 Router 之间的 mount table 即时更新功能.

默认情况下，如果一个 router 修改了 mount table，那么其他 router 不能立即更新，需要等待一段时间才能达到同步状态。开启即时更新功能后, 修改了 mount table 的 router 会主动通知其他 router 更新 cache，从而使其他 router 立即达到同步状态.

在 Router 侧，hdfs-rbf-site.xml 中，做如下配置：

<name>dfs.federation.router.mount-table.cache.update</name>

<value>true</value>

开启 Router 的超载拒绝服务特性.

默认情况下，如果一个 router 接收到的 RPC 请求太多，则会严重排队。开启该特性后，一个 router 在满载之后，会立即拒绝新的 RPC 请求，之后客户端会继续尝试其他的 router:

在 Router 侧，hdfs-rbf-site.xml 中，做如下配置：

<name>dfs.federation.router.client.reject.overload</name>

<value>true</value>

禁用 Router 的 “部分 list/count” 特性.

如果 router 启用了 multi destination 挂载功能，且一个挂载目录的某些 sub cluster 不可用时，可能出现不能完整 list/count 一个目录的情况，此时只能 list/count 到一部分目录内容。这种结果不可接受，需要禁用该特性，此时应直接返回失败。

在 Router 侧，hdfs-rbf-site.xml 中，做如下配置：

<name>dfs.federation.router.client.allow-partial-listing</name>

<value>true</value>

禁止 Router 缓存客户端 RPC 请求的路径解析结果.

默认情况下，Router 会缓存客户端 RPC 请求的路径解析结果，最多缓存1W条，但如果客户端的操作路径非常多变（典型情况：集群业务量超大，Router 收到的 RPC 请求路径频繁变化），则这种缓存意义不大，且额外的缓存操作还会增加 Router 时耗，此时应该禁用缓存。

在 Router 侧，hdfs-rbf-site.xml 中，做如下配置：

<name>dfs.federation.router.mount-table.cache.enable</name>

<value>true</value>

禁止 Router 自动监听本地 NameNode.

默认情况下，Router 仅自动监听本地 NameNode，实际使用中，我们会手动配置 Router 需要监听的所有 NN.

在 Router 侧，hdfs-rbf-site.xml 中，做如下配置：

<name>dfs.federation.router.monitor.localnamenode.enable</name>

<value>false</value>

四 几个问题需要确认

Router 性能损耗

在 Client 和 NameNode 直接插入 Router 之后，对业务的 RPC 时耗影响大概有多大？

Router MountTable 性能问题

在 Router 的 MountTable Entry 过多时（例如 10W 条），是否会对 Router 性能产生影响？

token 性能问题

各个 Router 的 token 都存在一个 zk 里面，并且使用 zk 的 CallBack 更新机制，以现网目前的 token 量，zk 是否撑得住？