创建 StarRocks 存算分离集群

最近更新时间:2024-08-12 17:04:21

我的收藏

操作场景

本文为您介绍通过 EMR 控制台创建一个 EMR on CVM StarRocks 存算分离集群的操作步骤和相关配置。

操作步骤

登录 EMR 控制台 ,在 EMR on CVM 集群列表页单击创建集群,创建集群时,您需要对集群进行软件配置、区域与硬件配置、基础配置和确认配置信息四个步骤。

软件配置

配置项
配置说明
地域
集群所部署的物理数据中心,每个地域(region)都指一个独立的物理数据中心,不同地域间的云服务器内网不互通。注意:集群创建后,无法更改地域,请谨慎选择。
集群类型
选择 StarRocks 集群类型,更多集群类型介绍请参见 集群类型
应用场景
选择存算分离,StarRocks 提供存算一体、存算分离两种应用场景选择,更多应用场景介绍请参见 集群类型
产品版本
选择 StarRocks 产品版本,不同产品版本上捆绑的组件和组件的版本不同。
部署组件
无需选择,StarRocks 集群类型暂未提供非必选组件。
COS存储桶
选择 COS 对象存储桶,用于存放存算分离场景下 StarRocks 的内表数据。
注意:
1、创建 StarRocks 存算分离时,如果您选择的 COS 存储桶开启了 元数据加速 功能,集群创建后,请前往对象存储控制台,对 StarRocks 集群 VPC 网络及节点 IP 进行授权,想请参考使用 HDFS 协议访问已开启元数据加速的存储桶
2、StarRocks 存算分离集群销毁时,不会同步删除存储在 COS 存储桶中的数据,如果您的集群销毁后存储数据无需保留,请前往对象存储控制台进行删除。

区域与硬件配置

配置项
配置说明
计费模式
选择集群的计费模式,详请参考 计费概述
(跨)可用区
StarRocks 集群类型仅支持单可用区部署。
集群网络
为保证 EMR 集群的安全性,我们会将集群各节点放入一个私有网络中,您需要设置一个私有网络以保证 EMR 集群的正确创建。
集群外网
可用于外网登录 SSH 和外网访问组件 WebUI,集群创建成功后可在控制台对该网络进行调整。默认开启 master1 节点的外网。
安全组
安全组具有防火墙功能,用于设置云服务器 CVM 的网络访问控制。如果没有安全组,EMR 会自动帮您新建一个安全组。若已经有在使用的安全组可以直接选择使用。若安全组数量已达到上限无法新建,可删除部分不再使用的安全组。查看已在使用的安全组。
创建安全组:EMR 帮助用户创建一个安全组,开启22和30001端口及必要的内网通信网段。
已有 EMR 安全组:选择已创建的 EMR 安全组作为当前实例的安全组,开启22和30001端口及必要的内网通信网段。
高可用(HA)
默认启动高可用,不同集群类型和应用场景在 HA 或非 HA 场景下,不同节点类型部署数量不同,详情请参见 集群类型
节点类型
根据业务需要为不同节点类型选择合适机型配置。详情请参见 业务评估
说明:
1. 目前支持 Task 节点和 Router 节点挂载多种云盘类型(每种云盘类型最多只能选择1次)和多块云盘(最多20块)。
2. 本地盘机型不支持部署在 Master 节点上,请选择非本地盘机型。
置放群组
可选配置,放置群组是云服务器实例在底层硬件上分布放置的策略,详情请参见 置放群组

基础配置

配置项
配置说明
所属项目
将当前集群分配给不同的项目组注意:集群创建后暂不支持修改所属项目。
集群名称
通过设置集群名称,来区分不同的 EMR 集群。系统随机生成支持修改,集群的名字,长度限制为6-36个字符,只允许包含中文、字母、数字、-、_。
登录方式
目前 EMR 提供两种登录集群服务、节点的方式,自定义设置密码方式和关联密钥方式;SSH 密钥仅用于 EMR-UI 快捷入口登录。其中,用户名默认为“root”。
引导操作
可选配置,引导脚本操作方便您在创建集群的过程中执行自定义脚本,以便您修改集群环境、安装第三方软件和使用自有数据;更多设置请参见 引导操作
标签
可选配置,您在创建时对集群或节点资源添加标签,以便于管理集群和节点资源,最多可绑定5条,标签键不可重复。

确认配置

配置项
配置说明
配置清单
确认所部署信息是否有误。
自动续费
可选项,系统将在集群到期前7天,每天检测用户账户上的可用余额是否充足,设置为自动续费的集群资源进行续费;包年包月集群默认勾选自动续费,用户可手动取消勾选。
协议条款
完成以上配置后,单击购买进行支付,支付成功后 EMR 集群进入创建过程,集群创建完成后即可在 EMR 控制台中找到新建的集群。
注意
按量计费集群:立刻开始创建。 集群创建完成后,集群的状态变为运行中。
包年包月集群:先生成订单,支付完成订单以后集群才会开始创建。
您可以在 CVM 控制台中查看各节点的实例信息,为保证 EMR 集群的正常运行,请不要在 CVM 控制台中更改这些实例的配置信息。

后续步骤

集群创建成功后,您可根据自身情况登录集群后,对集群进行进一步的配置等操作,具体操作可参考如下文档:
管理服务:角色管理配置管理启停服务
使用 StarRocks 服务:StarRocks 基础使用指南