腾讯云 EMR 提供了易于部署和管理的企业级开源大数据服务,可以快速搭建 Hadoop、Spark、HBase、Trino、StarRocks 等开源大数据服务。相较于自建开源大数据平台有以下产品优势:
丰富可靠的开源组件
组件丰富:提供高性能、高稳定性、按需灵活搭配的 Hive、Spark、Presto、StarRocks、HBase、Flink、Iceberg、Alluxio 等丰富开源大数据组件。
持续迭代:随开源版本升级迭代,适配开源组件,避免开源组件之间的版本兼容性问题。
开源增强:基于开源组件深度优化,提供 Alluxio 透明加速、Iceberg Z-Order 算法等优化技术提升性能。
易于部署运维
部署方便:只需几分钟即可基于 CVM 或 TKE 构建一个开源大数据集群。
运维便捷:支持基于时间和负载的自动化容量管理、可视化集群参数配置、支持资源调度以及联邦等应用级策略配置。
监控丰富:支持从资源到服务运行情况的全面监控,可从运行指标趋势、重点事件监控、日志搜索等功能快速诊断集群基础运行问题。
应用分析:支持 HDFS、YARN、Hive、HBase、Impala 等重点服务应用级分析,提升应用级问题定位效率。
成本节约
资源弹性:按需购买、根据业务特点自动伸缩集群,减少资源闲置成本。
集群联邦:结合统一 Hive 元数据库以及统一对象存储,实现跨集群的同数据集分析架构,集群按需创建或销毁,灵活节省集群成本。
存算分离架构:计算资源和存储资源分开购买,且可根据访问频率选择不同存储方案,降低存储和计算成本;支持温冷数据的对象存储 COS/CHDFS 存储,成本有效降低28% - 50%。
在离线混合部署:支持基于容器服务 TKE 部署,错峰复用算力,降低资源成本。
安全可靠
网络安全:VPC 网络隔离和安全组保证网络安全可信。
访问安全:提供集群级别的 Kerberos 认证,保障集群访问安全;支持基于 Ranger 对本地及 COS 数据细粒度权限管控。
防护服务:腾讯云安全加固服务为 EMR 集群提供一体化的安全服务,涵盖网络防护、入侵检测、漏洞防护等。
容灾架构:Master 节点容灾设计,备节点秒级拉起,保障大数据服务可用性。
存储可靠:支持将 Hive 元数据存放于 MetaDB,元数据可靠性达99.9996%;支持分析存放于 COS 的高存储耐久性的 PB 级数据。