Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >EMR-CORE节点安装kylin

EMR-CORE节点安装kylin

原创
作者头像
腾讯云大数据
发布于 2018-05-03 12:49:11
发布于 2018-05-03 12:49:11
1.2K0
举报

1

mv /usr/local/service/apps/kylin-2.1.0/ /usr/local/service/kylin

chown -R hadoop:hadoop ./kylin/

2

2.1 将HIVE拷贝到目标CORE节点,以IP(10.0.0.91)为例子

scp -r /usr/local/service/hive/root@10.0.0.91:/usr/local/service

chown -R hadoop:hadoop ./hive

2.2 由于EMR修改了HIVE的日志路径,所以需要在CORE节点上创建日志目录

mkdir /data/emr/hive

mkdir /data/emr/hive/logs

mkdir /data/emr/hive/tmp

chown -R hadoop:hadoop /data/emr/hive/

目录权限更改后,启动HIVE检验能否启动。

3

3.1 执行/usr/local/service/kylin/bin/check-env.sh 检查依赖

3.2 注释掉/etc/profile, spark路径

3.3 执行 usr/local/service/kylin/bin/kylin.sh start

执行成功如下:

4

访问kylin页面,需要建立隧道访问:

地址:localhost:7070/kylin

账号:ADMIN/KYLIN

5

使用测试样例检测

5.1 Run ${KYLIN_HOME}/bin/sample.sh ; Restart kylin server to flush the caches;

5.2 Logon Kylin web with default user ADMIN/KYLIN, select project “learn_kylin” in the project dropdown list (left upper corner);

5.3 Select the sample cube “kylin_sales_cube”, click “Actions” -> “Build”, pick up a date later than 2014-01-01 (to cover all 10000 sample records);

5.4 Check the build progress in “Monitor” tab, until 100%;

5.5 Execute SQLs in the “Insight” tab, for example:

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt

6 HA配置

http://kylin.apache.org/docs23/install/kylin_cluster.html

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
kylin 安装配置实验
一、实验环境 3台CentOS release 6.4虚拟机,IP地址为 192.168.56.101 master 192.168.56.102 slave1 192.168.56.103 slave2 hadoop 2.7.2 hbase 1.1.4 hive 2.0.0 zookeeper 3.4.8 kylin 1.5.1(一定要apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz包) master作为hadoop的NameNode、SecondaryNameNode、ResourceManager,hbase的HMaster slave1、slave2作为hadoop的DataNode、NodeManager,hbase的HRegionServer 同时master、slave1、slave2作为三台zookeeper服务器
用户1148526
2022/05/07
3230
kylin 安装配置实验
「EMR 开发指南」之 Kylin 快速构建 Cube
在大数据领域,数据量持续增长,数据类型和来源也变得越来越复杂。传统的数据仓库和分析工具很难满足大规模数据处理和实时分析的需求。为了解决这些问题,Apache Kylin应运而生。
岳涛
2023/11/27
3930
「EMR 开发指南」之 Kylin 快速构建 Cube
「EMR 运维指南」之 Kylin 迁移方案
在大数据领域,数据量持续增长,数据类型和来源也变得越来越复杂。传统的数据仓库和分析工具很难满足大规模数据处理和实时分析的需求。为了解决这些问题,Apache Kylin应运而生。
岳涛
2023/11/28
5211
「EMR 运维指南」之 Kylin 迁移方案
「EMR 开发指南」之 Kylin 存算分离方案
在大数据领域,数据量持续增长,数据类型和来源也变得越来越复杂。传统的数据仓库和分析工具很难满足大规模数据处理和实时分析的需求。为了解决这些问题,Apache Kylin应运而生。
岳涛
2023/11/29
4011
「EMR 开发指南」之 Kylin 存算分离方案
CDH+Kylin三部曲之三:Kylin官方demo
Yarn的内存参数设置之后一定要重启Yarn使之生效,否则Kylin提交的任务是会由于资源限制而无法执行;
程序员欣宸
2020/05/26
8790
重磅:如何玩转kylin
1, kylin是什么?为什么需要? Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc.
Spark学习技巧
2018/01/31
1.4K0
重磅:如何玩转kylin
开源的分布式分析引擎 Kylin 2.0.0 的环境部署
蔡鹏
2017/09/08
1.4K0
开源的分布式分析引擎  Kylin  2.0.0 的环境部署
Apache Kylin-2.6安装部署
构建过程是一个MapReduce任务,比较耗时,构建之前确保MapReduce History Server是启动的,否则会报错
CoderJed
2021/04/13
1.1K1
如何在CDH中部署及使用Kylin
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢
Fayson
2018/07/12
2.3K0
如何在启用Kerberos的CDH中部署及使用Kylin
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github: https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 我们在前面的文章简单介绍过Apache Kylin,请参考《如何在CDH中部署及使用Kylin》,文章中包含了如何在CDH上部署Kylin,以及创建cube,然后进行查询的两个demo例子。但对于CDH的生产系统,往往都会部署配置安全多租户,即Kerberos+Sentry,当C
Fayson
2018/07/12
1.7K0
【大数据安全】Apache Kylin 安全配置(Kerberos)
本文首先会简单介绍Kylin的安装配置,然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。
mantou
2018/10/10
1.5K0
【大数据安全】Apache Kylin 安全配置(Kerberos)
kylin_学习_01_kylin安装部署
http://mirrors.shu.edu.cn/apache/kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz
shirayner
2018/08/10
6210
kylin_学习_01_kylin安装部署
Kylin使用Spark构建Cube
Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 下面是单机安装采坑记,直接上配置和问题解决。 找一台干净的机器,把hadoop hive hbase从原有节点分别拷贝一份,主要目的是配置文件,可以不在kylin所在机器启动相关进程。 开源版本搭建,非整合HDP和CDH。 个别问题解决参考其他博客。 官网http://kylin.apache.org/cn/docs/ MapReduce构建Cube的问题也已解决,所以使用MapReduce构建Cube也是正常的。
王知无-import_bigdata
2020/05/20
2K0
Apache Kylin 2.3 JDBC Java API 示例
官方文档 http://kylin.apache.org/docs23/tutorial/jdbc.html
程裕强
2022/05/06
2630
Apache Kylin 2.3 JDBC Java API 示例
Kylin配置Spark并构建Cube(修订版)
在运行 Spark cubing 前,建议查看一下这些配置并根据集群的情况进行自定义。下面是建议配置,开启了 Spark 动态资源分配:
create17
2019/09/05
9040
Apache Kylin 概览
Apche Kylin 是 Hadoop 大数据平台上的一个开源 OLAP 引擎。它采用多维立方体(Cube)预计算技术,可以将某些场景下的大数据 SQL 查询速度提升到亚秒级别。相对于之前的分钟乃至小时级别的查询速度。
codingforfun
2019/05/15
1.8K0
Apache Kylin 概览
Apache Kylin 2.3 样例分析
网上没有找到Apache Kylin 2.3相关的样子,只好参考Apache Kylin 1.x 相关例子,但是运行报错。只好自己慢慢排查,下面做个记录。
程裕强
2022/05/06
3340
Apache Kylin 2.3 样例分析
kylin安装---安装系列十一
配置环境变量添加如下:/etc/profile和 ~/.bash_profile
Dlimeng
2023/06/29
2960
Kylin集群模式部署(使用同一HBase存储)
本文主要讲解如何部署Kylin集群,采取多个Kylin实例共享HBase存储的模式,如果需要事先了解Kylin基本概念的朋友可以查看《Apache Kylin基本原理及概念》。
create17
2019/04/17
2.2K5
Kylin集群模式部署(使用同一HBase存储)
Hadoop Hive Hbase Kylin 环境搭建
# hadoop-env.sh 配置 export JAVA_HOME=`absolute path` # core-site.xml 配置 <configuration> <!-- 指定HDFS老大(namenode)的通信地址 --> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/path/to/tmp</value> </property> </configuration> # hdfs-site.xml 配置 <configuration> <!-- 设置hdfs副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
lpe234
2020/07/27
1.1K0
相关推荐
kylin 安装配置实验
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档