在Redis官网上找了一下，没有找到怎么在Linux上安装Redis的步骤，所以参考了这个博客: http://blog.fens.me/linux-...
在Ubuntu Kylin下安装JDK1.8，参考的地址是:http://jingyan.baidu.com/article/647f0115bb26817f2048a871.html，除了参考它之外
安装好Ubuntu Kylin14.04 64位后好像没有中文输入法，怎么切换(Ctrl+Shift或者空格)，但是就是输入的都是英文。...今天探索了一下，终于弄出来了，步骤如下(下面的这些步骤都是在Ubuntu Kylin14.04上操作的，参考的博客是http://www.2cto.com/os/201405/305463.html)...2、下载完成后，找到下载的文件(好像在downloads文件夹下)，是一个以.deb为后缀的文件，双击它，之后会跳出Ubuntu特有的那个安装软件的界面。...点击"fcitx"，之后点击左下角的按钮"OK"，如上图所示；之后好像还会出现一个对话框，点击OK；之后就重启Ubuntu Kylin。...6、不知道为什么，这样就可以用搜狗输入法了，我参考的那个博客上面讲的步骤比上讲的多几个步骤的，很可能是我安装的Ubuntu Kylin14.04，毕竟这是Ubuntu team和国防科技大学合作出来的，
参考的URL:http://jingyan.baidu.com/article/066074d6600d43c3c21cb0d2.html 用SSH将windows中的文件上传至Ubuntu ...Kylin14.04： 先在Ubuntu Kylin上安装SSH服务: 1、先更新软件包: 在shell窗口中输入sudo apt-get update 2、之后再shell窗口中输入sudo...7、点击该界面的”Quick Connect”，之后输入Ubuntu的IPv4地址，之后输入用户名。 8、之后会提示你输入密码，输入完成后就会连接到Ubuntu了。...9、在SSH Secure File transfer的界面上的左边”Local Name”表示的是本地的文件和文件夹，而右边的Remote Name表示Ubuntu上的文件和文件夹。...10、点击左边的windows文件，鼠标右击它，选择Upload就可以上传到Ubuntu了。
Kylin构建Cube算法Kylin中Cube的思想是用空间换时间， 通过预先的计算，把索引及结果存储起来，以换取查询时候的高性能。...在Kylin v1.5以前，Kylin中的Cube只有一种算法：layered cubing，也称逐层算法，它是逐层由底向上，把所有组合算完的过程。...Kylin v1.5以后，推出Fast Cubing，也称快速数据立方算法，是一个新的Cube算法。...三、算法选择用户无需担心使用什么算法构建cube，Kylin会自动选择合适的算法。...在对上百个Cube任务的时间做统计分析后，Kylin选择了7做为默认的算法选择阀值(参数kylin.cube.algorithm.auto.threshold)：如果各个Mapper的小Cube的行数之和
/kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz 2.下载 使用命令进行下载 wget http://mirrors.shu.edu.cn.../apache/kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz 或者先在本地下载，然后上传服务器 3.解压 tar -zxvf...apache-kylin-2.3.0-hbase1x-bin.tar.gz 三、kylin配置 1.配置环境变量 （1）编辑 profile 文件 vim /etc/profile （2）设置 KYLIN_HOME.../start-hbase.sh 2.启动 kylin 进入 kylin 的 bin 目录，执行 ..../kylin.sh start 即可启动kylin 3.访问kylin管理界面 启动kylin之后，浏览器访问：http://your_hostname:7070/kylin。
文章目录 Apache Kylin™ 概览 Kylin 是什么?...Kylin 生态圈 Apache Kylin™ 概览 Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据...Kylin 是什么?...引擎)，Kylin 为 Hadoop 提供标准 SQL 支持大部分查询功能 交互式查询能力: 通过 Kylin，用户可以与 Hadoop 数据进行亚秒级交互，在同样的数据集上提供比 Hive 更好的性能...Kylin 生态圈 Kylin 核心: Kylin 基础框架，包括元数据（Metadata）引擎，查询引擎，Job引擎及存储引擎等，同时包括REST服务器以响应客户端请求 扩展: 支持额外功能和特性的插件
Apache Kylin 介绍 一、什么是 Kylin Apche Kylin 是 Hadoop 大数据平台上的一个开源 OLAP 引擎。...as KYLIN_SALES_LEAF_CATEG_ID ,KYLIN_SALES.LSTG_SITE_ID as KYLIN_SALES_LSTG_SITE_ID ,KYLIN_SALES.SLR_SEGMENT_CD...as KYLIN_SALES_SLR_SEGMENT_CD ,KYLIN_SALES.OPS_USER_ID as KYLIN_SALES_OPS_USER_ID ,KYLIN_CAL_DT.CAL_DT...as KYLIN_CAL_DT_CAL_DT ,KYLIN_SALES.ITEM_COUNT as KYLIN_SALES_ITEM_COUNT ,KYLIN_SALES.PRICE...as KYLIN_SALES_PRICE FROM DEFAULT.KYLIN_SALES as KYLIN_SALES INNER JOIN DEFAULT.KYLIN_CAL_DT as KYLIN_CAL_DT
本篇文章就概念、工作机制、数据备份、优势与不足4个方面详细介绍了Apache Kylin。 Apache Kylin 简介 1. Apache kylin 是一个开源的海量数据分布式预处理引擎。...Apache Kylin 工作机制 1....如果你查看过 Kylin 的配置文件（kylin.properties），你会发现这样一行： ## The metadata store in hbase kylin.metadata.url=kylin_metadata...在这种情况下，假设你在部署 Kylin 的 hadoop 命令行（或沙盒）里，你可以到 KYLIN_HOME 并运行： ....其实现在能做到的只有 Kylin，在这一点上也没有什么太多其他的选择。 3. 从易用性上来讲，Kylin 也有非常多的特点。
此篇为大家带来的是Kylin的快速入门。 一. 数据准备 在Hive中创建数据，分别创建部门和员工外部表，并向表中导入数据。 1. 用到的元素数据 2....Hive和Kylin性能对比 需求：根据部门名称[dname]统计员工薪资总数[sum（sal）] 1....Kylin查询 1.进入Insight页面 2.在New Query中输入查询语句并Submit select dept.dname,sum(emp.sal) from emp join dept
4:已经过时的Cube构建的日志和任务历史 kylin 本身提供了如何清理垃圾数据的操作，在这里要注意一点就是元数据的清理要做好备份准备，同时kylin也提供了元数据备份的操作。...一 ：kylin 元数据的清理 元数据主要包括无用的字典，表的快照等无用信息，可以通过下面的命令来查看和清理无用的元数据 1）：检查元数据（这个命令只是一个查询，不会对kylin做其它操作，是安全的）.../metadata.sh restore $KYLIN_HOME/metadatabackup/metadata_xx_xx_xx 二 ：清理存储器数据 kylin在构建Cube过程中会在HDFS上生成中间数据...1）：列出kylin 存储在hdfs上面的所有中间数据，也可以认为是可删除数据 ${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob...（我这里已经执行删除过了，所以是空的） 2 ）：执行删除操作 ${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob
一、Apache kylin的核心概念 表（Table ）：表定义在hive中，是数据立方体（Data cube）的数据源，在build cube 之前，必须同步在 kylin中。...二、Apache kylin的工作机制 Apache kylin 能提供低延迟（sub-second latency）的秘诀就是预计算，即针对一个星型拓扑结构的数据立方体，预计算多个维度组合的度量...预计算的过程在kylin中就是 Cube 的build过程，如下图： ? 当前Apache kylin构建（build）数据立方体，采用逐层算法（By Layer Cubing）。...三、Apache kylin的架构及核心组件 Apache kylin 架构如下： ?...Rest Server：当前kylin采用的rest API、JDBC、ODBC接口提供web服务。
1.2 Kylin特点 Kylin的主要特点包括支持SQL接口、支持超大规模数据集、亚秒级响应、可伸缩性、高吞吐率、BI工具集成等。...1）标准SQL接口：Kylin是以标准的SQL作为对外服务的接口。 2）支持超大数据集：Kylin对于大数据的支撑能力可能是目前所有技术中最为领先的。...4）可伸缩性和高吞吐率：单节点Kylin可实现每秒70个查询，还可以搭建Kylin的集群。 5）BI工具集成 Kylin可以与现有的BI工具集成，具体包括如下内容。...1.3 Kylin架构 ? 1）REST Server REST Server是一套面向应用程序开发的入口点，旨在实现针对Kylin平台的应用开发工作。...Kylin的元数据存储在hbase中。
驱动 String KYLIN_DRIVER = "org.apache.kylin.jdbc.Driver"; //Kylin_URL String...KYLIN_URL = "jdbc:kylin://hadoop002:7070/emp_project"; //Kylin的用户名 String KYLIN_USER...= "ADMIN"; //Kylin的密码 String KYLIN_PASSWD = "KYLIN"; //添加驱动信息 Class.forName...(KYLIN_DRIVER); //获取连接 Connection connection = DriverManager.getConnection(KYLIN_URL..., KYLIN_USER, KYLIN_PASSWD); //预编译SQL PreparedStatement ps = connection.prepareStatement
为提升KYLIN存储和查询性能，需要对默认配置进行修改。大部分配置参考kyligence的生产环境推荐配置即可，但是该推荐有些配置没放进去，本文将描述几个关键属性需要自己手工配置的。...kylin.properties kylin.cube.aggrgroup.is-mandatory-only-valid=true kylin.query.timeout-seconds=60 kylin.job.allow-empty-segment
请注意，在Kylin中，如果您选择FK为维度，相应的PK将自动排队，无需任何额外费用。...文件合并 如果启用了Hive的文件合并，你可以在conf/kylin_hive_conf.xml里关闭它，因为Kylin有自己合并文件的方法(下一节)： <name...);" 首先，Kylin计算出中间表的行数，然后基于行数的大小算出重新分发数据需要的文件数。...如果你观察到reducer数目较小且性能较差，你可以将“conf/kylin.properties”里的以下参数设小一点，比如： kylin.hbase.region.cut=2 kylin.hbase.hfile.size.gb...总结 基于kylin的ui，可以看到kylin在构建cube时各个流程的耗时，可以依据这些耗时做相应的优化，常见的，可以从耗时最长的步骤开始优化，比如： 遇到创建hive中间表时间很长，考虑对hive表进行分区处理
放弃不难，但坚持很酷~ 一、Kylin二进制源码目录解析 bin: shell 脚本，用于启动/停止Kylin，备份/恢复Kylin元数据，以及一些检查端口、获取Hive/HBase依赖的方法等； conf...二、HDFS 目录结构 Kylin 会在 HDFS 上生成文件，根目录是 “/kylin” (可以在conf/kylin.properties中定制)，然后会使用 Kylin 集群的元数据表名作为第二层目录名...，默认为 “kylin_metadata”。...通常，/kylin/kylin_metadata目录下会有这么几种子目录：cardinality, coprocessor, kylin-job_id, resources, jdbc-resources...执行Kylin官方自带的sample.sh文件，会将数据都临时加载到/tmp/kylin/sample_cube文件中，等到脚本执行完毕，会将该目录删除。
那么从kylin的角度来看，把对应日期的数据重新同步后重新计算。...A5 参考文献 kylin权威指南
背景 : 近来公司要做报表，随简单研究一下Kylin。Kylin可谓是我泱泱中华在Apace史上耀眼的一笔。 作用: Kylin是强大的OLAP分析引擎，详见官网。...Kylin 1.6 CDH5.10 安装 Kylin有两种安装方式：单机及集群。本文以集群为例。单机版Kylin安装起来还是挺简单的，解压即安装。...=/home/syphcdh/kylin/kylin-1.6.0-cdh5.7 export PATH=${PATH}:${KYLIN_HOME}/bin 2.Kylin. ...原因3点： 说白了就是kylin关于hbase的3个参数： kylin.query.scan.threshold kylin.query.mem.budget kylin.query.coprocessor.mem.gb...threshold ，而前端查询kylin是timeout 6.当用kylin做报表时，kylin报错 2017-06-26 14:51:52,523 ERROR [IPC Server handler
目前Kylin已经可以与superset进行集成，详细的说明可参考kylin官方文档： [ superset ]。...但是superset原生并不支持kylin，因此我们需要安装Kyligence公司提供的kylinpy工具。这是一个python的kylin客户端工具，可以通过输入命令获取相应的kylin信息。...superset配置连接kylin superset安装成功之后，我们就可以在superset中进行配置，来访问kylin。...kylin的用户名，ip是kylin部署的服务器，project是kylin中的project名称。...=KYLIN_SALES.LEAF_CATEG_ID join KYLIN_ACCOUNT on ACCOUNT_ID=BUYER_ID join KYLIN_COUNTRY on ACCOUNT_COUNTRY
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
