前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >多EMR-Presto集群共享EMR-Hive集群配置方案

多EMR-Presto集群共享EMR-Hive集群配置方案

原创
作者头像
sundyxiong
修改2018-09-17 11:23:48
1.5K0
修改2018-09-17 11:23:48
举报
文章被收录于专栏:公有云大数据平台弹性 MapReduce

EMR的某些客户的数据仓库使用EMR-Hive存储,presto连接hive快速ad-hoc查询,但是有些场景下不同的业务部门有各自不同的使用presto查询需求,多EMR-Presto集群共享EMR-Hive集群配置方案可以满足这种需求。

多EMR-Presto集群共享EMR-Hive集群
多EMR-Presto集群共享EMR-Hive集群

假设EMR-Hive的集群为A集群,新增的EMR-Presto集群为B+集群,设置A集群为B+共享集群,只需要把B+集群的presto-hive配置变更即可。具体操作方案如下:

1.拷贝A集群hdfs-site.xml,core-site.xml到B集群hadoop用户权限目录下,这里以/home/hadoop为例子,

代码语言:javascript
复制
#cp hdfs-site.xml /home/hadoop 
#cp core-site.xml /home/hadoop
#chown hadoop:hadoop  /home/hadoop/hdfs-site.xml
#chown hadoop:hadoop  /home/hadoop/core-site.xml

2. 把hdfs-site.xml和core-site.xml文件都分发到集群所有节点下的相同目录

3.更改/usr/local/service/presto/etc/catalog/hive.properties配置

代码语言:javascript
复制
connector.name=hive-hadoop2
hive.metastore.uri=thrift://10.1.1.101:7004,thrift://10.1.1.140:7004
hive.config.resources=//home/hadoop//core-site.xml,/home/hadoop/hdfs-site.xml
hive.allow-drop-table=true

其中,hive.metastore.uri更改为A集群的hive-server2的地址

hive.config.resources更改为刚刚设置的/home/hadoop/hdfs-site.xml和/home/hadoop/core-site.xml

4.把/usr/local/service/presto/etc/catalog/hive.properties分发到presto集群的所有节点

5.在emr控制台重启presto集群,包括coordinator和worker节点。重启操作可参考,在集群管理的更多里重启组件:

https://cloud.tencent.com/document/product/589/10860

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档