弹性 MapReduce Ranger 审计日志存入腾讯云 ElasticSearch-EMR 开发指南-文档中心-腾讯云

前提条件
1. 支持 ranger2.1.0及以上版本，对应 EMR-2.7.0、EMR-3.2.1及以上版本。
2. 准备腾讯云ElasticSearch集群，创建过程可参考 ES 创建集群。
容量参考：以单个 Hive SQL 大小为1KB为例，单条记录大小约为20KB，即1GB可存储约52428条 Hive SQL。
3. 安全组开放9200端口，仅内网访问要求 EMR 集群和 ElasticSearch 集群在同一 VPC 内。
4. 示例：ElasticSearch 集群关键信息：
用户名：elastic
密码：MyPassword
内网Ip：10.206.48.118
端口：9200
传输协议：http
﻿
﻿
﻿
EMR 控制台操作步骤
1. 登录 EMR 控制台，在集群服务 > RANGER > 配置管理 > ranger-admin-site.xml 文件，修改配置项如下：
ranger.audit.source.type = elasticsearch
ranger.audit.elasticsearch.user = elastic
ranger.audit.elasticsearch.password = MyPassword
ranger.audit.elasticsearch.urls = 10.206.48.118
ranger.audit.elasticsearch.protocol = httpot
ranger.audit.elasticsearch.port = 9200
ranger.audit.elasticsearch.index = ranger_audits
ranger.audit.elasticsearch.bootstrap.enabled = true
2. 重启 Ranger 服务角色 EmbeddedServer。
3. 以 HIVE 为例，其它服务类似。进入集群服务 > HIVE > 配置管理，修改 ranger-hive-audit.xml文件 配置项如下，相应值和 ranger-admin-site.xml 文件保持一致。
ranger.audit.source.type = elasticsearch
ranger.audit.elasticsearch.user = elastic
ranger.audit.elasticsearch.password = MyPassword
ranger.audit.elasticsearch.urls = 10.206.48.118
ranger.audit.elasticsearch.protocol = httpot
ranger.audit.elasticsearch.port = 9200
ranger.audit.elasticsearch.index = ranger_audits
ranger.audit.elasticsearch.bootstrap.enabled = true
4. 重启 HIVE 角色 HiveServer2。

Ranger 审计日志存入腾讯云 ElasticSearch

本页目录：

前提条件

EMR 控制台操作步骤