弹性 MapReduce 支持在控制台新增组件时,部分组件支持自定义选择节点部署和部署数量;另部分组件已部署后支持卸载,以及相关服务角色的添加和移除。
支持自定义部署组件列表
说明:
1. 仅支持新增组件自定义部署,新建集群不支持自定义部署,系统默认部署。
2. 自定义部署仅支持 EMR on CVM 版本的 Hadoop 集群类型。
3. 若部分角色需要部署在 Router 节点上,请先在新增组件选择前,扩容准备好所需 Router 节点。
服务 | 角色 | 默认节点类型 | 可自定义节点类型 | 非HA集群节点数部署范围 | HA集群节点数部署范围 |
YARN | JobHistoryServer | master | master | 1 | 1 |
| NodeManager | core,task | core,task | 2~不限制 | 3~不限制 |
| TimeLineServer | master | master | 1 | 1 |
| ResourceManager | master | master | 1 | 2 |
HBASE | HRegionServer | core | core | 2~不限制 | 3~不限制 |
| HbaseThrift | master,router | master,router | 1 | 2 |
| HMaster | master,router | master,router | 1 | 2 |
IMPALA | ImpalaServer | core,task | core,task | 2~不限制 | 3~不限制 |
| ImpalaServer | core,task | core,task | 1~不限制 | 1~不限制 |
| ImpalaCataLog | master,router | master,router | 1 | 2 |
| ImpalaStateStore | master,router | master,router | 1 | 2 |
HIVE | HiveMetaStore | master,router | master,router | 1 | 2 |
| HiveServer2 | master,router | master,router | 1 | 2 |
| HiveWebHcat | master,router | master,router | 1 | 2 |
ALLUXIO | AlluxioJobMaster | master,router | master,router | 1 | 2 |
| AlluxioMaster | master,router | master,router | 1 | 2 |
GOOSEFS | GooseFSJobMaster | master,router | master,router | 1 | 2 |
| GooseFSMaster | master,router | master,router | 1 | 2 |
| GooseFSProxy | master,router | master,router | 1 | 2 |
KUDU | KuduMaster | master,common | master,common | 3 | 3 |
| KuduServer | core | core | 2~不限制 | 3~不限制 |
HDFS | DataNode | core | core | 1~不限制 | 3~不限制 |
HUE | Hue | master,router | master,router | 1~不限制 | 2~不限制 |
COSRANGER | CosRangerServer | master,router | master,router | 1 | 2 |
KYLIN | Kylin | master,router | master,router | 1 | 2 |
KYUUBI | KyuubiServer | master,router,task | master,router,task | 1~不限制 | 2~不限制 |
LIVY | LivyServer | master,router | master,router | 1~不限制 | 2~不限制 |
OOZIE | Oozie | master,router | master,router | 1 | 2 |
PRESTO | PrestoWorker | core,task | core,task | 2~不限制 | 3~不限制 |
PRESTOSQL | PrestoSqlWorker | core,task | core,task | 2~不限制 | 3~不限制 |
TRINO | TrinoWorker | core,task | core,task | 2~不限制 | 3~不限制 |
RANGER | Ranger | master,router | master,router | 1~不限制 | 2~不限制 |
SPARK | SparkJobHistoryServer | master,router | master,router | 1~不限制 | 2~不限制 |
SUPERSET | Superset | master,router | master,router | 1 | 2 |
TEZ | Tomcat | master,router | master,router | 1 | 1 |
ZEPPELIN | Zeppelin | master,router | master,router | 1 | 2 |
支持角色添加和移除列表
注意:
添加角色和移除角色,均需要优先保证“自定义部署组件列表”中的部署节点类型和数量范围。
服务 | 角色 | 添加角色 | 移除角色 |
添加角色涉及配置文件
| 移除角色涉及配置文件 |
YARN | JobHistoryServer | 支持 | 支持 | - | - |
| NodeManager | 支持 | 支持 | YARN:["yarnhosts"] | YARN:["yarnhosts"] |
| TimeLineServer | 支持 | 支持 | KNOX:["emr.xml"], TEZ:["configs.env"] | KNOX:["emr.xml"], TEZ:["configs.env"] |
| ResourceManager | 不支持 | 不支持 | - | - |
HBASE | HRegionServer | 支持 | 支持 | - | - |
| HbaseThrift | 支持 | 支持 | - | - |
| HMaster | 支持 | 支持 | - | HUE:["pseudo-distributed.ini"] KNOX:["emr.xml"] |
IMPALA | ImpalaServer | 支持 | 支持 | - | - |
| ImpalaServer | 支持 | 支持 | - | - |
| ImpalaCataLog | 不支持 | 不支持 | - | - |
| ImpalaStateStore | 不支持 | 不支持 | - | - |
HIVE | HiveMetaStore | 支持 | 支持 | TRINO:["hive-site.xml"], TRINO:["hive.properties"], PRESTO:["hive.properties"], PRESTOSQL:["hive.properties"] | TRINO:["hive.properties"], PRESTO:["hive.properties"], PRESTOSQL:["hive.properties"] |
| HiveServer2 | 支持 | 支持 | - | HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"] |
| HiveWebHcat | 支持 | 支持 | - | - |
ALLUXIO | AlluxioJobMaster | 不支持 | 不支持 | - | - |
| AlluxioMaster | 不支持 | 不支持 | - | - |
GOOSEFS | GooseFSJobMaster | 不支持 | 不支持 | - | - |
| GooseFSMaster | 不支持 | 不支持 | - | - |
| GooseFSProxy | 不支持 | 不支持 | - | - |
KUDU | KuduMaster | 不支持 | 不支持 | - | - |
| KuduServer | 支持 | 支持 | - | - |
HDFS | DataNode | 支持 | 支持 | HDFS:["hdfshosts"] | HDFS:["hdfshosts"] |
HUE | Hue | 不支持 | 不支持 | - | KNOX:["emr.xml"] |
COSRANGER | CosRangerServer | 不支持 | 不支持 | HDFS:["core-site.xml"] | HDFS:["core-site.xml"] |
KYLIN | Kylin | 支持 | 支持 | - | HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"] |
KYUUBI | KyuubiServer | 支持 | 支持 | - | - |
LIVY | LivyServer | 支持 | 支持 | - | HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"] |
OOZIE | Oozie | 支持 | 支持 | - | HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"] |
PRESTO | PrestoWorker | 支持 | 支持 | - | - |
PRESTOSQL | PrestoSqlWorker | 支持 | 支持 | - | - |
TRINO | TrinoWorker | 支持 | 支持 | - | - |
RANGER | Ranger | 支持 | 支持 | - | YARN:["ranger-yarn-security.xml"], KNOX:["emr.xml"], HIVE:["ranger-hive-security.xml.js"], HDFS:["ranger-hdfs-security.xml.js"], HBASE:["ranger-hbase-security.xml.js"] ranger2.1.0版本及以上含如下:
TRINO:["ranger-trino-security.xml.js"], PRESTOSQL:["ranger-presto-security.xml.js"], COSRANGER:["ranger-chdfs-security.xml.js","ranger-cos-security.xml.js"]
|
SPARK | SparkJobHistoryServer | 支持 | 支持 | - |
HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"]
|
SUPERSET | Superset | 支持 | 支持 | - | - |
TEZ | Tomcat | 支持 | 支持 | - | KNOX:["emr.xml"] |
ZEPPELIN | Zeppelin | 支持 | 支持 | - | - |