引擎 | 优势 | 不足 | 适合场景 | 文档 |
---|---|---|---|---|
Kylin | 1、支持标准SQL,提供JDBC/ODBC接口 2、通过预计算Cube显著降低查询时的计算量。 3、支持精确去重计数, 并且由于预计算,查询去重指标的速度很快。 4、可以支持比较高的查询并发。 | 1、需大量资源做预计算,数据导入效率低。 2、schema变更需重跑历史,稳定性低。 3、需要学习Cube定义和优化,学习成本较高。 4、不支持AdHoc查询。 5、HBase没有二级索引,过滤的性能稍逊色。 5、支持的维度数量不宜过多(20),否则Cube的计算和存储开销会明显增加。 | 基于预计算支持固化查询: a.查询模式比较固定。 b.数据规模大、指标数量多、高基数精确去重。 c.对响应时间要求严苛 | |
druid | 1、支持实时和离线数据导入。 2、存储格式采用列式存储+位图索引,过滤和聚合的速度快。 3、本地存储数据文件,通过mmap将数据映射到内存中处理,最大化利用内存。 | 1、只支持部分SQL功能,不能做灵活计算。 2、目前只支持基于HyperLogLog近似去重。 3、只支持单数据源查询,需要将数据提前join。 4、由于只存储轻度汇总数据,不支持明细数据查询 5、对内存依赖较重,超过可用内存性能严重下降。 | 时序型数据的实时OLAP分析: a.明细数据产生速率快 b.原始数据量大,以简单(sum/count /min/max)为主, c.去重指标不多(1~2个) | |
doris | 1、运维成本低,无外部依赖,部署简单。 2、兼容Mysql协议和语法,支持在线schema变更。 3、同时支持批量导入和近实时mini-batch导入查询。 4、基于MPP的高性能计算 | 1、多维过滤场景下性能较低 2、同时负责数据导入, compaction, 查询, 这些操作之间会相互影响 | 基于MPP高性能计算,提供灵活高的分析(主要依靠现场计算): a.明细查询 b.主键更新的场景 c.百毫秒的高性能灵活d.OLAP查询低基数(千万级内)精确去重。 |
公司 | 业务特点 | 引擎使用 |
---|---|---|
阿里 | 查询场景丰富、规模大、服务内部也对外提供云服务 | 自研OLAP引擎为主、基于MPP架构和自研存储系统支持需求闭源。阿里云商业化典型系统:AnalyticDB/hologres,团队100+ |
百度 | 查询场景丰富 | 自研引擎、通过开源联合社区满足公司内部需求。典型系统:Doris |
腾讯 | 查询场景丰富、大业务线有自己的OLAP团队; | 开源和自研OLAP都有不同业务线采用、典型系统:Clickhouse、PivotEngine(广点通自研OLAP引擎) |
头条 | 查询场景集中、大宽表为主、数据量大 | 基于开源系统二次开发主打灵活查询,团队20+,典型系统:clickhouse |
滴滴 | 查询场景多样 | 基于开源系统不同场景选用不同引擎,典型系统:kylin/druid/clickhouse |
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。