EMR 资源是在创建 EMR on TKE 实例流程中,选择 EMR 资源时使用的资源形态。用户可以选择新创建一个 EMR 资源池,也可以选择以前创建好的 EMR 资源池。因此暂不支持直接创建 EMR 资源,只能在 EMR on TKE 的创建流程中附带创建,这是因为 EMR 资源无法单独提供服务,都是伴随 EMR on TKE 实例使用的。
创建
内容配置完成后,单击确定配置会回到 EMR on TKE 的配置流程中,最终提交后,系统会异步构建集群,关键环节包括:
1. 购买 CVM 资源创建一个 EMR 资源池
2. 创建一个 TKE 容器集群
3. 将上述 EMR 资源池和 TKE 容器集群进行关联,完成节点配置和节点组配置
4. 创建 EMR on TKE 集群,部署服务及软件
配置项 | 配置说明 | 备注 |
计费模式 | 包年包月 / 按量付费 | - |
EMR 资源网络 | 用于节点间构建联通的私有网络 | - |
容器网络插件 | 支持选择 VPC-CNI 和 Global Router | VPC-CNI:腾讯云 TKE 基于弹性网卡实现的容器网络插件,容器网络与云主机网络在同一个 VPC 内;Global Router:腾讯云 TKE 基于 VPC 路由实现的容器网络插件,可设置独立平行于 VPC 的容器网段。详见:容器网络概述 |
可用区 | 至少选择一个可用区部署,支持跨可用区部署 | 如果跨可用区部署,默认前面一个为主可用区。建议与业务使用的 EMR on TKE 集群保持相同的可用区和网络子网 |
忽略 Service IP 冲突校验 | 选择是否开启 | 需要判断相同 VPC 下是否会存在不同集群 Service 互相访问的情况,如果有,则不建议忽略,且不建议重叠,避免服务发现和调用完全失效。忽略后当前集群不会和相同 VPC 下其它集群做 ServiceCIDR 冲突校验,将导致当前集群和相同 VPC 下其它集群 Service 无法互通 |
Service IP 段 | 集群内部为 Service 分配 ClusterIP 的“地址池” | 集群的 kube-controller-manager 在分配节点 CIDR 时,一般也会排除这个 IP 段 |
EMR 资源外网 | 可用于外网登录 SSH | EMR 资源创建成功后暂不可更改。杭州和上海自动驾驶云地域不支持 BGP IP,无法开启 EMR 资源外网 |
安全组 | 建议优先选择 emr-xxx 开头的安全组 | - |
节点配置 | 配置不同可用区的节点 | 每个可用区节点数量最小为 3。单击修改可以配置不同机型不同规格的节点、系统盘、数据盘。仅 GPU 节点支持配置镜像以及驱动 |
节点池 | 如果勾选,在创建 TKE 集群时,将自动创建 TKE 节点池并将本次创建的节点加入节点池中 | - |
Labels | TKE 集群的节点均将自动增加此处设置的 Label | 可用于后续根据 Label 筛选、定向、管理节点。详见:标签 |
Taints | 通常与 Tolerations 配合使用 | 此处可为节点池下的所有节点设置 Taints,确保不符合条件的 Pod 不能够调度到这些节点上,且这些节点上已存在的不符合条件的 Pod 也将会被驱逐。详见:污点和容忍度 |
自定义脚本 | 指定自定义数据来配置 Node,分为节点初始化前和节点初始化后 | 脚本及其生成的日志文件可在节点的 /usr/local/qcloud/tke/userscript 路径查看 |
所属项目 | 腾讯云项目 | - |
EMR 资源名称 | 在 EMR 控制台用于管理的 EMR 资源名称 | EMR 资源名称长度限制为 6-36 个字符,只允许包含中文、字母、数字、-、_ |
登录密码/密钥 | 设置用于节点远程登录,支持密码登录或者密钥登录 | - |
使用
创建好的 EMR 资源在 EMR 中可以重复使用,即创建 EMR on TKE 集群时,可以选择已经部署过 EMR 服务的资源池。但是如果已经部署过一次 TCRay,则无法重复选择,可以在已有的 EMR on TKE 集群上继续创建 RayCluster,或者销毁之前的 EMR 集群后重新创建。
维护
查看并维护 EMR 资源有两个入口。
1. 从 EMR on TKE 集群详情页 > 实例信息 > 基本信息,容器类型后面的集群名称,单击即可跳转到资源维护页面。
2. 在 EMR 控制台左侧菜单,工具箱 > 资源运维 > EMR 资源,切换不同的可用区即可查看/筛选/管理 EMR 资源。
查看
在 EMR 资源管理列表页面,单击资源 ID 即可进入资源详情页面。
手动扩容
扩容时的节点规格支持在节点列表 > 更多操作 > 设置节点规则中进行提前设置,系统会优先显示默认规格。
支持对 EMR 资源组进行容量扩容,扩容支持不同计费类型、不同可用区、不同网络配置、不同规格的节点。也支持对本次扩容的节点进行容器配置,同时为了方便沿用原 TKE 集群节点池的配置,可以选择加入节点池且继承节点池的配置。这里的继承包括 Labels、Taints、自定义脚本等。
扩容时支持对扩容节点配置置放群组,满足新增节点与原有节点的合理置放需求。
手动缩容
支持对 EMR 资源组进行容量缩减,但每个 EMR 资源组不能少于 3 个节点。
节点销毁时,当前节点上运行的 Pod 任务将会被驱逐到正常运行的节点上重新创建拉起。
如果含有弹性 IP(含辅助网卡上的 IP),机器退还后还会继续保留,闲置 IP 会继续产生费用,如不需保留,请到对应资源管理器页面进行释放。
自动伸缩
支持按照时间规则对 EMR 资源组的资源进行扩容和缩容。通过伸缩组的方式支持 EMR 资源的弹性扩缩容,伸缩组包含伸缩规格和伸缩规则两部分配置,伸缩规格和伸缩规则都支持叠加,系统会根据优先级选择执行。具体详见:伸缩组使用配置。
自动缩容支持优雅缩容,并且支持对设定 Label 的 Pod 做豁免缩容,直到这些 Pod 上的作业全部运行结束才会缩容。
编辑标签
编辑选中节点的腾讯云标签。
按量转包年包月
按量节点的计费模式转包年包月。
设置自动续费
设置包年包月节点的自动续费逻辑。
监控
监控大盘中包含节点的常规监控,包含 CPU、MEM、网络、存储、GPU 等指标的可视化展示。
销毁
支持直接对 EMR 资源组进行销毁。当前资源组存在运行中的 EMR on TKE 实例绑定时,则不允许销毁,需要先销毁 EMR on TKE 实例,再销毁 EMR 资源。
注意:
销毁 EMR on TKE 实例时,不会自动销毁绑定的 EMR 资源,因此建议及时手动销毁 EMR 资源,避免造成资源浪费。