首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

玩转大数据开发工具-上篇

为了降低大数据应用开发的门槛,简化开发过程,星环随Transwarp Data Hub 5.0开发出了大数据开发套件Transwarp Studio。Studio由一套PaaS产品构成,提供从提取、存储、计算、展示的全链路大数据开发服务,全面覆盖大数据开发流水线上的各项环节,为开发人员带来流畅的数据分析体验。随着TDH 5.1的发布与性能提升,Studio各个产品也获得了核心性的改进和升级,并扩大了家族成员,发展进入一个新的阶段。

多维度分析引擎 Rubik

Rubik作为Studio中的多维度分析引擎,用于OLAP Cube的设计与实例化,帮助实现高并发的百亿行规模高维度SQL交互分析,对海量数据分析实现秒级甚至毫秒级的响应。Rubik 5.1在原有版本上得到了多方面的增进,对六个关键模块做了提升和丰富,在效率与应用性上得到成长。

图1 Rubik Cube设计界面

增量构建

当新增数据进入系统后,在进行Cube模型实例化时,Rubik不再对数据做全量构建,而是基于原基础对新增部分做增量构建。Rubik的使用灵活性大幅提升,支持插入旧数据,以及向主表或码表插入数据,同时通过完善增量合并机制,对增量数据立方体做有效的自动管理,在修改历史数据的场景中也能够快速更新模型实例,保证Cube模型的准确性和时效性。

新增降维优化策略

Rubik以原有的聚合组、联合维度、衍生维度、层次维度、部分维度降维手段为基础,新增必备维度和互斥维度两种策略。其中必备维度是总会在查询中用到的一组维度,互斥维度指总是不可能一起出现的一组维度。通过结合各维度间的维度关系以及维度自身特征,Rubik会在Cube模型预计算时,减少建模时实际的维度组合,缩减建模时间与空间占用。

更多的度量分析函数

Rubik将支持的度量分析函数增加到10余个,可以在建模时实现更加丰富的函数分析。其中,增加的函数包括percentile的计算函数,以及精确重写和误差重写两种SELECT DISTINCT方式:精确重写的预计算速度和存储代价的较大,但是结果精确;误差重写的预计算和存储代价小,却影响精确度,但用户可以自主决定相对标准差的大小。

更有效的工作流控制

在数据量规模极大的情况下,Cube模型构建时间较长,存在失败风险。因此从5.1开始,Rubik将对接Workflow,获得更方便的调度和风险管控,以及实现任务重试、推迟构建、调整构建优先级等更丰富的功能。

模型导入导出

Rubik允许用户将Cube模型以JSON文本的方式导入导出平台,做半自动化的计算构建,同时支持跨集群的团队协助,方便远程诊断。

精细的权限控制

Rubik 5.1同安全管控产品Guardian进行无缝对接,实现赋权操作,用户可以在Guardian页面上对Rubik相关权限进行操作。Guardian为Rubik提供精细的权限控制,分别以域、项目、数据立方体划分权限级别,保证权限管理的灵活度。

目前,Rubik在金融行业的实际的落地项目中,能够灵活自如的应对报表查询和多维分析的需求,创造极速的高维度分析,同时带来良好的用户开发体验。

基于Web的报表工具

Transwarp Pilot是在5.1中新加入Transwarp Studio家庭的成员。作为轻量的自助式分析BI工具,Pilot克服了传统BI工具的缺陷,提供智能的分析体验,不论是对于可视化报表展现的丰富度,还是对于处理性能,都有极致的表现。

图2 Pilot报表界面

Pilot覆盖了用户对于报表工具的多项关键性需求,可应用于多种行业领域。

轻量

Pilot作为基于Web的报表展现工具,轻量、灵活,可以快速部署,允许用户在任意移动终端上访问,随时随地用报表展现目标业务数据。Pilot将加速笨重的传统BI工具成为历史产品。

丰富的展现

Pilot提供几十种报表样式,支持时序数据,支持数据预览。能够快速构建报表,满足用户多种分析需求,使得商业智能得以以更加丰富的表现形式表展现。

图3 Pilot支持的图表类型

极速分析

Pilot充分利用Inceptor分布式引擎加速自助分析,借助列式存储以及OLAP模型对多维分析的加速能力,提供秒级报表生成和语句分析响应速度。帮助业务人员有效把握时间,适应市场的快速变化。

自助SQL IDE

Pilot内置SQL IDE,对接Inceptor调试执行SQL语句。使SQL语句的调试执行与结果集的图表生成一气呵成。

交互式分析体验

Pilot通过拖拽式界面支持自助的仪表盘布局设计,用户可将相关报表组合在同一仪表盘,任意放大缩小报表尺寸,并通过过滤器聚焦关注内容。通过Pilot,用户可以对报表进行有效的观察和比对,了解趋势发现问题,实现多种数据分析需求。

HDFS文件管理

内置HDFS文件系统管理模块,提供HDFS目录浏览,并以可视化的方式取代命令行方式实现HDFS文件上传,实现便捷的HDFS文件管理。

支持多种数据源

Pilot可支持多种数据源,包括文件、Inceptor以及Oracle、MySQL等关系数据库。

目前,Pilot在某一网站分析的实际落地案例中,有效的为内部分析人员提供对访问者以及阅读量情况的精确、多样化的报表分析,帮助站运营人员实现网站内容管理的调整和优化。

下篇预告

Studio 5.1以“好用”为目标,将功能提升点围绕在加深工具的产品化,着力于实现更高生产力。下一篇中我们将继续介绍Studio 5.1的另外几个产品的新特性,其中包括图形化的ETL工具Transporter,功能越发强大的工作流引擎Workflow,以及新引入的日志存储和分析工具Milano。

往期原创文章

大数据开放实验室由星环信息科技(上海)有限公司运营,专门致力于大数据技术的研究和传播。若转载请在文章开头明显注明“文章来源于微信订阅号——大数据开放实验室”,并保留作者和账号介绍。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180112G0X8BD00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券