弹性 MapReduce 支持在控制台执行扩容或缩容时与其他操作流程并行,规避相应异步操作等待时长;本文为您汇总整理控制台流程并行操作。
注意:
1. 包含但不限于以下罗列操作,最终以控制台为准。
2. 流程并行仅支持 EMR on CVM 版。
3. task 节点并行缩容可能导致 Yarn NodeManager 实际下线时间与设置的优雅缩容时间不匹配。2024年4月9日后新建的 Hadoop3.x 版本集群将修复该问题,存量 Hadoop3.x 版本集群请参考NodeManager 节点并行缩容配置文档手动修复。Hadoop2.x 版本集群可支持取消 task 节点并行伸缩,该功能为白名单开放,如需要可 提交工单 联系我们开通。
节点扩缩容并发或互斥
进行中流程 | 支持扩容节点类型 | 支持缩容节点类型 |
扩容 task | task | task |
缩容 task | task | task |
扩容 core | 无 | 无 |
缩容 core | task | task |
扩容 router | 无 | 无 |
缩容 router | 无 | 无 |
扩容 master | 无 | 无 |
缩容 master | 无 | 无 |
扩容或缩容时支持并发流程
说明:
对于重启类操作,仅支持在角色管理页面去勾选节点操作。
进行中流程 | 可并行操作 | 前置条件 |
仅缩容时 | 配置下发 | - |
仅缩容时 | 开启COS功能 | - |
仅缩容时 | 新增服务 | - |
仅缩容时 | 卸载服务 | - |
仅缩容时 | 添加角色 | - |
仅缩容时 | 添加联邦NameService | - |
扩容或缩容时 | 修改ranger元数据库 | - |
扩容或缩容时 | 编辑标签 | - |
扩容或缩容时 | 流程作业 | - |
扩容或缩容时 | 联邦同步挂载表 | - |
扩容或缩容时 | 联邦修改挂载表 | - |
扩容或缩容时 | 变更配置 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 重启 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 启动 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 停止 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 停止监控 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 启动监控 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 同步外部客户端 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 创建外部客户端 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 修复磁盘 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 扩容磁盘 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 添加角色 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 集群脚本 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 挂载云盘 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 服务高级操作 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时 | 移除角色 | 需要排除掉正在扩缩容的节点 |
扩容或缩容时不支持并发流程
可并行操作 |
重置原生UI密码 |
调整网络访问 |
变更组件配置 |
销毁集群 |
按量转包年包月 |
NodeManager 节点并行缩容配置文档
注意:
1. 只支持 Hadoop3.x 版本的存量集群(2024年4月9日之前购买的集群)。
2. 建议在业务低峰期,且没有扩缩容流程的情况下操作。
1. 修改 yarn-site.xml 中的配置
yarn.resourcemanager.nodes.exclude-path
为 /usr/local/service/hadoop/etc/hadoop/yarnexcludedhosts.xml
。2. 新增配置文件 yarnexcludedhosts.xml,配置如下:
文件名称:yarnexcludedhosts.xml
配置路径:/usr/local/service/hadoop/etc/hadoop
权限属性:755
用户组:hadoop
用户名:hadoop
内容:
<
?
xml version
=
"1.0"
?
>
<
hosts
>
<
/
hosts
>
3. 重启 ResourceManager。
4. 查看 WebUI 或者执行 yarn nodes -list 进行检查。
5. 建议优雅缩容 task 节点一次,因为上述操作会修改 yarnexcludedhosts.xml 文件,避免后续出现问题。