弹性 MapReduce (EMR) 是基于云原生技术和泛 Hadoop 生态开源技术的安全、低成本、高可靠的开源大数据平台。提供易于部署及管理的 Hive、Spark、HBase、Flink、StarRocks、Iceberg、Alluxio 等开源大数据组件,帮助客户高效构建云端企业级数据湖技术架构。EMR 支持基于 CVM 和 TKE 两种资源部署。
支持形态
腾讯云 EMR 提供基于云服务器(CVM)和容器服务(TKE)两种部署运行方式:
形态 | 描述 |
EMR on CVM | EMR 负责将开源大数据组件安装部署在 CVM 上,并启动相应的服务。您可以通过 EMR 控制台完成对集群 CVM 及服务的运维操作。 |
EMR on TKE | 如您已准备好一个TKE标准集群或 Serverless 集群,EMR 将基于 TKE 的资源安装部署开源大数据组件,实现开源大数据平台的容器化运行,您可减少对于底层资源的运维关注。 |
相关云产品
服务名称 | 说明 |
EMR on CVM 产品形态下,CVM 实例用于 EMR 集群节点。 | |
CVM 节点和 POD 节点根据需要可搭配不同规格的云硬盘进行数据存储。 | |
EMR on TKE 产品形态下,可选择 TKE 集群中的 POD 作为 EMR 集群节点。 | |
EMR 集群部署了 Hive、Hue、Ranger 等组件时,集群将同步购买一个云数据库 MySQL用于存储组件元数据。 | |
存算分离场景可以使用 EMR 读写对象存储中的数据。 | |
存算分离场景可以使用 EMR 读写云 HDFS 的数据。 | |
EMR on TKE 产品形态下,部分服务可以设置负载均衡提供对外访问。 | |
通过访问管理对 EMR 产品授予服务角色权限或对协作者/子用户进行操作授权。 | |
EMR集群的指标类和事件类监控数据会上报至 TCOP,通过 TCOP 可以拉取集群监控数据并对需要重点观测指标配置告警通知策略。 |