弹性 MapReduce 结合云技术和 Hive、Spark、Presto、StarRocks、HBase、Flink、Iceberg 等社区开源技术,为您提供安全、低成本、高可靠、可弹性伸缩的云端 Hadoop 服务。其主要功能体现在以下方面:
集群管理
通过腾讯云弹性 MapReduce 服务可以简单高效的配置和管理您的开源大数据集群,能够无缝衔接云上基础设施服务。
模块 | 功能点 |
配置集群 | 支持超过30+开源大数据组件,灵活按需部署 支持基于云服务器 CVM 或容器服务 TKE 部署开源大数据组件 支持通过引导操作部署第三方应用组件 支持提前预设关键软件配置参数 Hive 元数据库支持关联已有元数据库实现多集群共享元数据库 支持设置对象存储或云 HDFS 存放业务数据 |
管理集群 | 支持按需升级节点硬件配置 按需扩缩 Task 节点或 Router 节点 支持根据业务运行时间特点和负载特点自动伸缩 Task 节点 本地盘换盘后可以便捷修复后恢复使用 支持自动探测 Task 节点或 Router 节点异常,并自动更换出现异常的节点 支持扩容用作数据盘的云硬盘 支持通过集群脚本对多个节点进行统一运维操作 |
服务管理
服务管理为已部署的开源大数据组件提供了基础运维操作,同时支持部分重点组件的高阶运维和服务策略配置管理。
模块 | 功能点 |
服务基础运维 | 服务角色状态以及启停管理 配置管理调整服务参数配置 支持查看服务原生 WebUI 支持查看服务客户端配置列表 |
服务高阶运维 | 支持 HDFS 主备切换及数据均衡可视化操作 支持 YARN 主备切换及刷新队列可视化操作 支持 HBase RIT 修复 |
服务策略配置 | 支持设置 HDFS 联邦管理策略 支持设置 YARN 资源调度策略 支持 OpenLDAP 用户管理 |
监控告警
Recd弹性 MapReduce 为集群中节点和服务提供全面的监控告警服务,特别的对于部分核心组件提供应用层分析,以便您更高效的诊断应用问题。
模块 | 功能点 |
基础监控 | 支持查看节点和服务运行指标,并可通过 API 获取指标 支持节点和服务事件监控 支持系统运行事件监控和配置事件监控策略 支持服务角色运行日志搜索 支持主动巡检集群运行情况 |
应用分析 | HDFS 支持存储文件分析 YARN支持作业查询,并提供 MR、Tez 、Spark 类型作业运行情况洞察 Hive 支持查询管理和数据表分析 Impala 支持查询管理 HBase 支持数据表分析 Kudu 支持数据表分析 |
告警管理 | 支持默认指标以及时间告警策略 支持设置节点和服务运行指标变动告警 支持设置节点和服务事件告警 |