跨可用区集群部署

最近更新时间:2023-09-12 17:23:12

我的收藏

多可用区部署集群

EMR 默认推荐使用单可用区部署,但单可用区可能存在整个可用区故障或资源不足风险,为提升集群可用区级可靠性及资源灵活性,Hadoop 集群类型场景下,可设置集群跨可用区部署策略,根据部署特点,分为平分策略和均衡策略。
平分策略:通过创建集群时用2个可用区资源部署服务,提升可用区级资源扩展性。需要设置2个可用区进行集群部署,1个主可用区和1个第二可用区,当第二可用区异常时,主可用区可正常提供服务。


均衡策略:通过互备可用区部署,当互备中一个可用区故障后集群仍可正常服务,由于数据的跨可用区分布能力尚未支持,目前在EMR on COS部署方案实现可用区级容灾。需要设置3个可用区进行集群部署,1个主可用区、1个第二可用区和1个均衡可用区,主可用区与第二可用区资源互备部署,主可用区和第二可用区任一可用区异常时不影响另一可用区正常提供服务。


注意
跨可用区网络存在使用费用,于2022年12月变更为收费,具体请参见 私有网络 > 购买指南

平分策略

下文主要说明基于平分策略的集群如何创建和管理。

创建集群

登录 EMR 控制台 ,在 EMR on CVM 集群列表页单击创建集群
1. 选软件配置 Step:选择地域,选择 Hadoop 集群类型,选择所需的集群场景,其他信息项参考单集群购买页,请参见 创建集群
2. 区域与硬件配置 Step:跨可用区信息项选择跨可用区选项,部署策略信息项选择平分策略后,可用区信息项需要按需选择两个可用区,按照可用区行序第一行为主可用区,第二行为第二可用区,参照可用区选择子网。

节点配置项分别配置已选可用区的节点规格及数量,平分策略高可用选项为默认开启且不可关闭配置


3. 基础配置及确认配置信息请参照单集群购买页,请参见 创建集群



扩容集群

平分策略主可用区和第二可用区均可支持按需扩容 Task、Core 及 Router 类型节点。

缩容集群

平分策略做缩时主可用区和第二可用区的 Core 节点类型总数可缩减至最小值为3,其他节点类型无限制。

均衡策略

下文主要说明基于均衡策略的集群如何创建和管理。

创建集群

登录 EMR 控制台 ,在 EMR on CVM 集群列表页单击创建集群
1. 选软件配置 Step:选择地域,选择 Hadoop 集群类型,选择所需的集群场景,其他信息项参考单集群购买页,请参见 创建集群
2. 区域与硬件配置 Step:跨可用区信息项选择跨可用区选项,部署策略信息项选择均衡策略后,可用区信息项需要按需选择三个可用区按照可用区行序第一行为主可用,第二行为第二可用区,第三行为均衡可用区,参照可用区选择子网。

节点配置项分别配置已选可用区的节点规格及数量,均衡策略时高可用选项为默认开启且不可关闭配置


3. 基础配置及确认配置信息请参照单集群购买,请参见 创建集群



查看集群

集群创建成功后,可在集群列表以及集群实例信息页面查看集群的主备可用区信息。 登录 EMR 控制台,可进入集群列表页面:

单击集群 ID/名称可进入集群实例信息页面:



扩容集群

均衡策略主可用区、第二可用区和均衡可用区均可支持按需扩容 Task、Core 及 Router 类型节点。
均衡策略的扩容仅为可用资源扩展,若用户集群的服务等部署为主备方案时建议主可用区和第二可用区的资源保持等量扩容。

缩容集群

平分策略做缩容时主可用区和第二可用区的 Core 节点类型总数可缩减至最小值为3,其他节点类型无限制。
均衡可用区在所容时支持 Core、Task、Router 节点类型的全量缩容。