前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >OLAP引擎

OLAP引擎

原创
作者头像
艾利
发布2022-09-08 11:02:12
8360
发布2022-09-08 11:02:12
举报
文章被收录于专栏:数仓建模

一、OALP 引擎汇总整理

引擎

优势

不足

适合场景

文档

Kylin

1、支持标准SQL,提供JDBC/ODBC接口 2、通过预计算Cube显著降低查询时的计算量。 3、支持精确去重计数, 并且由于预计算,查询去重指标的速度很快。 4、可以支持比较高的查询并发。

1、需大量资源做预计算,数据导入效率低。 2、schema变更需重跑历史,稳定性低。 3、需要学习Cube定义和优化,学习成本较高。 4、不支持AdHoc查询。 5、HBase没有二级索引,过滤的性能稍逊色。 5、支持的维度数量不宜过多(20),否则Cube的计算和存储开销会明显增加。

基于预计算支持固化查询: a.查询模式比较固定。 b.数据规模大、指标数量多、高基数精确去重。 c.对响应时间要求严苛

druid

1、支持实时和离线数据导入。 2、存储格式采用列式存储+位图索引,过滤和聚合的速度快。 3、本地存储数据文件,通过mmap将数据映射到内存中处理,最大化利用内存。

1、只支持部分SQL功能,不能做灵活计算。 2、目前只支持基于HyperLogLog近似去重。 3、只支持单数据源查询,需要将数据提前join。 4、由于只存储轻度汇总数据,不支持明细数据查询 5、对内存依赖较重,超过可用内存性能严重下降。

时序型数据的实时OLAP分析: a.明细数据产生速率快 b.原始数据量大,以简单(sum/count /min/max)为主, c.去重指标不多(1~2个)

doris

1、运维成本低,无外部依赖,部署简单。 2、兼容Mysql协议和语法,支持在线schema变更。 3、同时支持批量导入和近实时mini-batch导入查询。 4、基于MPP的高性能计算

1、多维过滤场景下性能较低 2、同时负责数据导入, compaction, 查询, 这些操作之间会相互影响

基于MPP高性能计算,提供灵活高的分析(主要依靠现场计算): a.明细查询 b.主键更新的场景 c.百毫秒的高性能灵活d.OLAP查询低基数(千万级内)精确去重。

二、行业情况调研

公司

业务特点

引擎使用

阿里

查询场景丰富、规模大、服务内部也对外提供云服务

自研OLAP引擎为主、基于MPP架构和自研存储系统支持需求闭源。阿里云商业化典型系统:AnalyticDB/hologres,团队100+

百度

查询场景丰富

自研引擎、通过开源联合社区满足公司内部需求。典型系统:Doris

腾讯

查询场景丰富、大业务线有自己的OLAP团队;

开源和自研OLAP都有不同业务线采用、典型系统:Clickhouse、PivotEngine(广点通自研OLAP引擎)

头条

查询场景集中、大宽表为主、数据量大

基于开源系统二次开发主打灵活查询,团队20+,典型系统:clickhouse

滴滴

查询场景多样

基于开源系统不同场景选用不同引擎,典型系统:kylin/druid/clickhouse

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
作者已关闭评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、OALP 引擎汇总整理
  • 二、行业情况调研
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档