概述
在腾讯云 EMR 上提供了开箱可用的 Alluxio 服务,以帮助腾讯云客户可以快速实现分布式内存级缓存加速、简化数据管理等。同时还可以通过腾讯云 EMR 控制台或 API 接口,使用配置下发功能,快速配置多层级缓存和元数据管理等,获取一站式监控告警等功能。
注意:
开启 Kerberos 的 EMR 集群暂不支持购买时或后安装部署 Alluxio 组件。
准备
创建基于 Alluxio 的 EMR 集群
本节主要说明如何在腾讯云 EMR 上创建开箱即用的 Alluxio 集群。EMR 创建集群提供了购买页创建和 API 创建两种方式。
购买页创建集群
您需要登录腾讯云 EMR 购买页,在购买页选择支持的 Alluxio 发布版本,并且在可选组件列表中勾选 Alluxio 组件。
其他的选项可根据业务具体场景,进行个性化配置,创建过程中的具体选项可参考 创建 EMR 集群。API 创建集群
基础配置
创建一个带 Alluxio 组件的腾讯云 EMR 集群,默认会把 HDFS 挂载到 Alluxio 上,并使用内存作为单层 level0 存储。如果有需要更改更符合业务特性的多级存储,或者其他对应优化项,可以使用配置下发功能来完成相关配置。
在配置下发后,部分配置需要重启 Alluxio 服务才能生效。
更多配置下发和重启策略细节,可参考 配置下发 和 重启组件。基于 Alluxio 加速计算存储分离
腾讯云 EMR 基于腾讯云对象存储(COS)提供了计算存储分离能力,默认直接访问对象存储中的数据时,应用程序没有节点级数据本地性或跨应用程序缓存。使用 Alluxio 加速将缓解这些问题。
在腾讯云 EMR 集群上默认已部署使用 COS 作为 UFS 的依赖 jar 包,只需授予访问 COS 的权限,并把 COS mount 到 Alluxio 上即可使用。
授权
Mount
登录到 EMR 任意一台机器,挂载 COS 到 Alluxio。
alluxio fs mount <alluxio-path> <source-path>