首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >我应该在什么时候使用 Apache Druid

我应该在什么时候使用 Apache Druid

原创
作者头像
HoneyMoose
修改于 2021-07-24 02:05:23
修改于 2021-07-24 02:05:23
9230
举报
文章被收录于专栏:CWIKIUSCWIKIUS

许多公司都已经将 Druid 应用于多种不同的应用场景。请访问 使用 Apache Druid 的公司 页面来了解都有哪些公司使用了 Druid。

如果您的使用场景符合下面的一些特性,那么Druid 将会是一个非常不错的选择:

  • 数据的插入频率非常高,但是更新频率非常低。
  • 大部分的查询为聚合查询(aggregation)和报表查询(reporting queries),例如我们常使用的 “group by” 查询。同时还有一些检索和扫描查询。
  • 查询的延迟被限制在 100ms 到 几秒钟之间。
  • 你的数据具有时间组件(属性)。针对时间相关的属性,Druid 进行特殊的设计和优化。
  • 你可能具有多个数据表,但是查询通常只针对一个大型的分布数据表,但是,查询又可能需要查询多个较小的 lookup 表。
  • 如果你的数据中具有高基数(high cardinality)数据字段,例如 URLs、用户 IDs,但是你需要对这些字段进行快速计数和排序。
  • 你需要从 KafkaHDFS,文本文件,或者对象存储(例如,AWS S3)中载入数据。

如果你的使用场景是下面的一些情况的话,Druid 不是一个较好的选择:

  • 针对一个已经存在的记录,使用主键(primary key)进行低延迟的更新操作。Druid 支持流式插入(streaming inserts)数据,但是并不很好的支持流式更新(streaming updates)数据。 Druid 的更新操作是通过后台批处理完成的。
  • 你的系统类似的是一个离线的报表系统,查询的延迟不是系统设计的重要考虑。
  • 使用场景中需要对表(Fact Table)进行连接查询,并且针对这个查询你可以介绍比较高的延迟来等待查询的完成。

https://www.ossez.com/t/apache-druid/13604

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Apache Druid介绍
Apache Druid 是一个实时分析型数据库,旨在对大型数据集进行快速查询和分析("OLAP" 查询)。
从大数据到人工智能
2022/09/16
1.7K0
大数据Apache Druid(一):Druid简单介绍和优缺点
Druid(德鲁伊)是一个分布式的、支持实时多维 OLAP 分析、列式存储的数据处理系统,支持高速的实时数据读取处理、支持实时灵活的多维数据分析查询。在Druid数十台分布式集群中支持每秒百万条数据写入,对亿万条数据读取做到亚秒到秒级响应。此外,Druid支持根据时间戳对数据进行预聚合摄入和聚合分析,在时序数据处理分析场景中也可以使用Druid。
Lansonli
2022/08/17
1.6K0
大数据Apache Druid(一):Druid简单介绍和优缺点
​十分钟了解 Apache Druid
Apache Druid 适用于对实时数据提取,高性能查询和高可用要求较高的场景。因此,Druid 通常被作为一个具有丰富 GUI 的分析系统,或者作为一个需要快速聚合的高并发 API 的后台。Druid 更适合面向事件数据。
码哥字节
2020/03/24
2.1K0
Druid介绍
Apache Druid是一个实时分析型数据库,旨在对大型数据集进行快速的查询分析("OLAP"查询)。Druid最常被当做数据库来用以支持实时摄取、高性能查询和高稳定运行的应用场景,同时,Druid也通常被用来助力分析型应用的图形化界面,或者当做需要快速聚合的高并发后端API,Druid最适合应用于面向事件类型的数据。
一百减一是零
2024/08/21
2930
什么是Druid
玩过魔兽世界,暗黑破坏神,Dota,炉石传说,Dota自走棋的朋友,对这个词一定不陌生。
大数据流动
2020/02/18
1.6K0
什么是Druid
主流大数据OLAP框架对比
随着互联网、物联网、5G、人工智能、云计算等技术的不断发展,越来越多的数据在互联网上产生,对互联网的运营也开始进入精细化,因此大数据、数据分析、数字营销开始变成每个互联网企业的重点。在做数据分析时有OLAP、OLTP是我们必定会遇到的技术,在介绍OLAP引擎技术选型之前,我们先看看这两个技术分别是什么意思?
qihang
2024/03/16
2.5K0
日增百亿数据,查询结果秒出, Apache Doris 在 360商业化的统一 OLAP 应用实践
作者|360 商业化数据团队 窦和雨、王新新 导读:360 商业化为助力业务团队更好推进商业化增长,实时数仓共经历了三种模式的演进,分别是 Storm + Druid + MySQL 模式、Flink + Druid + TIDB 的模式 以及 Flink + Doris 的模式,基于 Apache Doris 的新一代架构的成功落地使得 360 商业化团队完成了实时数仓在 OLAP 引擎上的统一,成功实现广泛实时场景下的秒级查询响应。本文将为大家进行详细介绍演进过程以及新一代实时数仓在广告业务场景中的具
深度学习与Python
2023/05/09
7820
日增百亿数据,查询结果秒出, Apache Doris 在 360商业化的统一 OLAP 应用实践
关于OLAP和OLTP你想知道的一切
OLAP是英文Online Analytical Processing的缩写,中文称为联机分析处理。它是一种基于多维数据模型的分析处理技术,用于从不同的角度进行数据挖掘和分析,以帮助用户快速发现数据之间的相关性和趋势。
用户1413827
2023/11/28
8K0
关于OLAP和OLTP你想知道的一切
Apache Druid 是什么
Apache Druid 是一个高性能的实时分析型数据库。 Druid 的主要价值是能够减少检查和查找的时间。
HoneyMoose
2021/07/14
8290
Apache Druid 是什么
Apache Doris 在橙联的应用实践:数仓架构全面革新,千万数据计算时间从 2 小时变成 3 分钟
作者 | 付帅 策划 | 凌敏 业务背景 橙联股份是一家服务全球跨境电商的科技公司,致力于通过市场分析、系统研发及资源整合,为客户提供物流、金融、大数据等多方面的服务产品,为全球跨境电商提供高品质、全方位的服务解决方案。 随着公司业务的发展和数据的不断增长,早期基于 MySQL 的传统数仓架构已经无法应对公司数据的快速增长。业务的需求和运营的决策对于数据时效性的要求越来越高,对数仓准实时能力的需求越发强烈。 为了适应快速的增长需求,橙联于 2022 年正式引入 Apache Doris,以 Apac
深度学习与Python
2023/03/29
1.4K0
Apache Doris 在橙联的应用实践:数仓架构全面革新,千万数据计算时间从 2 小时变成 3 分钟
客快物流大数据项目(三):项目解决方案
干线运输指的是运输的主干线, 在主干线上有最大的运力,一般快件的运行都是由支线去向主干线去汇集, 由主干线运输过去
Lansonli
2021/12/27
9440
客快物流大数据项目(三):项目解决方案
主流的 OLAP 引擎介绍 - OLAP极简教程
随着互联网、物联网、5G、人工智能、云计算等技术的不断发展,越来越多的数据在互联网上产生,对互联网的运营也开始进入精细化,因此大数据、数据分析、数字营销开始变成每个互联网企业的重点。在做数据分析时有OLAP、OLTP是我们必定会遇到的技术,在介绍OLAP引擎技术选型之前,我们先看看这两个技术分别是什么意思?
一个会写诗的程序员
2021/12/24
9.3K0
主流的 OLAP 引擎介绍 - OLAP极简教程
常见开源OLAP技术架构对比
OLAP(On-line Analytical Processing,联机分析处理)是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。可以比较下其与传统的OLTP(On-line Transaction Processing,联机事务处理)的区别来看一下它的特点:
shengjk1
2021/11/09
2.6K0
常见开源OLAP技术架构对比
什么是 Druid
Apache Druid 是一个实时分析型数据库,旨在对大型数据集进行快速查询和分析(“OLAP” 查询)。
HoneyMoose
2021/07/24
1.2K0
什么是 Druid
知乎实时数仓实践及架构演进
转自知乎技术专栏:https://zhuanlan.zhihu.com/p/56807637
Spark学习技巧
2019/05/17
1.9K0
知乎实时数仓实践及架构演进
从 Clickhouse 到 Apache Doris:有赞业务场景下性能测试与迁移验证
有赞是国内领先的电商 SaaS 服务商,目前拥有社交电商、新零售、美业、教育及有赞国际化五大业务体系,通过旗下的社交电商、门店管理、解决方案以及其他新零售 SaaS 软件产品,全面帮助商家解决在移动互联网时代遇到的推广获客、成交转化、客户留存、复购增长、分享裂变等问题,帮助每一位重视产品和服务的商家实现顾客资产私有化、互联网客群拓展、经营效率提升,最终助力商家成功。
SelectDB技术团队
2023/09/12
1.9K0
Apache Druid历险记
Druid是一个快速的列式分布式的支持实时分析的数据存储系统。它在处理PB级数据、毫秒级查询、数据实时处理方面,比传统的OLAP系统有了显著的性能改进。
sowhat1412
2022/09/20
1.3K0
Apache Druid历险记
Druid架构与实现
Druid是实时分析型数据库(OLAP),利用面向列的存储布局、分布式非共享体系结构和先进的索引结构,可以在秒量级的延迟内查询百亿行表。
charmer
2021/04/16
1.8K0
Druid架构与实现
Apache Druid 在 Shopee 的工程实践
当前集群部署方案是维护一个超大集群,基于物理机器部署,集群规模达 100+ 节点。Druid 集群作为相关核心业务数据项目的下游,可以通过批任务和流任务写入数据,然后相关业务方可以进行 OLAP 实时查询分析。
Shopee技术团队
2022/02/07
9260
Apache Druid 在 Shopee 的工程实践
Druid 在有赞的实践
Druid 是 MetaMarket 公司研发,专为海量数据集上的做高性能 OLAP (OnLine Analysis Processing)而设计的数据存储和分析系统,目前 Druid 已经在 Apache 基金会下孵化。Druid 的主要特性:
Fayson
2019/03/07
1.9K0
相关推荐
Apache Druid介绍
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档