Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Kafka 与 RabbitMQ 如何选择使用哪个?

Kafka 与 RabbitMQ 如何选择使用哪个?

作者头像
新亮
发布于 2021-09-08 08:15:15
发布于 2021-09-08 08:15:15
1.1K0
举报
文章被收录于专栏:新亮笔记新亮笔记

文章目录:

  • 前言
  • 如何选择?
    • 开发语言
    • 延迟队列
    • 消息顺序性
    • 优先级队列
    • 消息留存
    • 消息过滤
    • 可伸缩行
  • 小结
  • 推荐阅读

前言

我们在工作中经常会用到异步消息,主要使用两种消息模式:

消息队列:多个生产者可以向同一个消息队列发送消息,但是一个消息只能被一个消费者消费。

发布/订阅:一个消息可以被多个订阅者并发的获取和处理。

KafkaRabbitMQ 都能满足如上的特性,那么我们应该如何选择使用哪一个?这两个 MQ 有什么差异性?在什么样的场景下适合使用 Kafka,什么场景下适合使用 RabbitMQ ?你是否有这样的疑惑?希望这篇文章能够帮助到你。

如何选择?

开发语言

Kafka:Scala,支持自定义的协议。

RabbitMQErlang,支持 AMQP、MQTT、STOMP 等协议。

延迟队列

如果你有以下这样的需求场景:

  • 生成订单 60 秒后,给用户发短信
  • 用户 7 天未登录给用户做召回推送。
  • 下单 15 分钟后,未进行付款就关闭订单。

请选择 RabbitMQ,官方已提供延迟队列插件(x-delayed-message),开箱即用。

消息顺序性

如果你的需求场景是需要保证消息是有序的,例如:传递的消息是 MySQL binlog,这种消息不允许是错乱的。

请选择 Kafka,它能够保证发送到相同主题分区的所有消息都能够按照顺序处理。

优先级队列

如果你的需求场景是需要保证消息执行的优先级,例如:首先需要处理 VIP 客户的问题,然后再处理普通客户的问题。

请选择 RabbitMQ,创建队列时可设置 x-max-priority。

消息留存

如果你的需求场景是消费后的消息不马上删除而是希望能够多保留一段时间。

请选择 Kafka,它能够给每个主题配置超时时间,只要没有达到超时时间的消息都会保留下来,请放心 Kafka 的性能不依赖于存储大小,理论上它存储消息几乎不会影响性能。

消息过滤

如果你的需求场景是对接收的消息采取一定的过滤规则进行过滤。

请选择 RabbitMQ,因为它支持消息路由。不过对于 Kafka 而言,也可以通过其他方式实现。

可伸缩行

如果你的需求场景是对伸缩方面、吞吐量方面有极大的要求。

请选择 Kafka

小结

本文纯属抛砖引玉,有问题,欢迎批评指正。

希望在两者的使用选择上能够给你带来一些思路。

推荐阅读

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-08-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 新亮笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
RabbitMQ、Kafka对比(超详细),Kafka、RabbitMQ、RocketMQ的区别
RabbitMQ和Kafka是两种流行的消息传递系统,它们在多个方面存在显著的差异。
寻求出路的程序媛
2024/08/07
5.6K0
RabbitMQ、Kafka对比(超详细),Kafka、RabbitMQ、RocketMQ的区别
IM系统的MQ消息中间件选型:Kafka还是RabbitMQ?
在IM这种讲究高并发、高消息吞吐的互联网场景下,MQ消息中间件是个很重要的基础设施,它在IM系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等等角色,当然MQ消息中间件的作用远不止于此,它的价值不仅仅存在于技术上,更重要的是改变了以往同步处理消息的思路(比如进行IM消息历史存储时,传统的信息系统作法可能是收到一条消息就马上同步存入数据库,这种作法在小并发量的情况下可以很好的工作,但互联网大并发环境下就是灾难)。
JackJiang
2018/08/29
2.2K0
消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局
消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能,其作为分布式系统架构中的一个重要组件,有着举足轻重的地位。
吴生
2018/04/16
2.1K0
消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局
也许你真的不懂RabbitMQ和Kafka的区别!!
作为一个有丰富经验的微服务系统架构师,经常有人问我,“应该选择RabbitMQ还是Kafka?”。基于某些原因, 许多开发者会把这两种技术当做等价的来看待。的确,在一些案例场景下选择RabbitMQ还是Kafka没什么差别,但是这两种技术在底层实现方面是有许多差异的。
架构师修行之路
2020/03/21
12.5K1
高效排队,紧急响应:RabbitMQ Priority Queue全面指南【RabbitMQ 九】
⏳:Spring Boot中的RabbitMQ死信队列魔法:从异常到延迟,一网打尽【RabbitMQ实战 一】
一只牛博
2025/05/30
690
高效排队,紧急响应:RabbitMQ Priority Queue全面指南【RabbitMQ 九】
RabbitMQ、Kafka、RocketMQ:特点和适用场景对比
在现代分布式系统中,消息队列是一种常见的架构模式,用于实现异步通信和解耦应用组件。RabbitMQ、Kafka和RocketMQ是当前流行的开源消息队列系统,它们各自有着独特的特点和适用场景。本文将对这三种消息队列系统进行详细介绍,并对它们的特点和适用场景进行对比分析。
疯狂的KK
2023/08/21
5.4K0
RabbitMQ、Kafka、RocketMQ:特点和适用场景对比
深入浅出RabbitMQ:顺序消费、死信队列和延时队列
大家好,我是小❤,一个漂泊江湖多年的 985 非科班程序员,曾混迹于国企、互联网大厂和创业公司的后台开发攻城狮。
xin猿意码
2023/11/07
5K1
深入浅出RabbitMQ:顺序消费、死信队列和延时队列
消息队列如何选择?Kafka、Pulsar、RabbitMQ还是...
消息队列是当代分布式系统架构中非常重要的一部分,在应用解耦、流量削峰、异步通信等方面有非常多的应用场景。目前最为我们所熟知的消息队列有:ActiveMQ、Kafka、RabbitMQ、Pulsar和RocketMQ,他们都有哪些优势和劣势, 我们应该如何选择呢?相信这是摆在很多开发者面前的问题。
MCNU云原生
2023/03/17
3.8K0
消息队列如何选择?Kafka、Pulsar、RabbitMQ还是...
Java消息队列总结只需一篇ActiveMQ、RabbitMQ、ZeroMQ、Kafka
消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ
慕容千语
2019/06/06
1K0
Java消息队列总结只需一篇ActiveMQ、RabbitMQ、ZeroMQ、Kafka
「事件驱动架构」何时使用RabbitMQ或 Kafka?
如果你问自己是否Apache Kafka比RabbitMQ更好或RabbitMQ是否比Apache Kafka更可靠,我想在这里阻止你。本文将从更广泛的角度讨论这两种情况。它关注的是这两个系统提供的功能,并将指导您做出正确的决定,决定何时使用哪个系统。
架构师研究会
2020/09/08
1.6K0
「事件驱动架构」何时使用RabbitMQ或 Kafka?
MQ界的“三兄弟”:Kafka、ZeroMQ和RabbitMQ,有何区别?该如何选择?
在现代的分布式系统和实时数据处理领域,消息中间件扮演着关键的角色,用于解决应用程序之间的通信和数据传递的挑战。在众多的消息中间件解决方案中,Kafka、ZeroMQ和RabbitMQ 是备受关注和广泛应用的代表性系统。它们各自具有独特的特点和优势,适用于不同的应用场景和需求。
网络技术联盟站
2023/07/22
13.4K0
MQ界的“三兄弟”:Kafka、ZeroMQ和RabbitMQ,有何区别?该如何选择?
Kafka、RabbitMQ、Pulsar、RocketMQ基本原理和选型
消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,削峰填谷等问题。实现高性能、高可用、可伸缩和最终一致性架构。
黄豆酱
2023/01/01
2K0
RabbitMQ 其他知识点
用户对于同一操作发起的一次请求或者多次请求的结果是一致的,不会因为多次点击而产生了副作用。举个最简单的例子,那就是支付,用户购买商品后支付,支付扣款成功,但是返回结果的时候网络异常,此时钱已经扣了,用户再次点击按钮,此时会进行第二次扣款,返回结果成功,用户查询余额发现多扣钱了,流水记录也变成了两条。在以前的单应用系统中,我们只需要把数据操作放入事务中即可,发生错误立即回滚,但是再响应客户端的时候也有可能出现网络中断或者异常等等。
用户9615083
2022/12/25
1770
RabbitMQ 其他知识点
一篇文章把RabbitMQ、RocketMQ、Kafka三元归一
点击上方“芋道源码”,选择“设为星标” 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
芋道源码
2022/07/12
7870
一篇文章把RabbitMQ、RocketMQ、Kafka三元归一
Kafka 与 RabbitMQ:选择正确的消息传递代理
在充满活力的事件驱动架构世界中,选择正确的消息代理对于实现高效且可扩展的通信至关重要。Kafka 和 RabbitMQ 是两款最受欢迎的竞争者,每款都有自己的优势和劣势。尽管他们有着相似的目标,但他们的架构、性能特征和用例却各不相同。
wayn
2024/04/03
4421
Kafka 与 RabbitMQ:选择正确的消息传递代理
【Kafka专栏 12】实时数据流与任务队列的较量 :Kafka与RabbitMQ有什么不同
在当今的分布式系统中,消息队列已成为不可或缺的组成部分,它在各个组件间起着关键的桥梁作用,确保了数据的安全传输与可靠处理。在众多消息队列技术中,Kafka和RabbitMQ因其各自独特的优势而备受关注。本文将详细解析Kafka与RabbitMQ之间的差异性,以帮助读者更好地理解和选择适合自身应用场景的消息队列技术。
夏之以寒
2024/06/16
1860
RabbitMQ vs Kafka:正面交锋
本文翻译自国外论坛 medium,原文地址:https://betterprogramming.pub/rabbitmq-vs-kafka-1779b5b70c41
wayn
2023/08/28
2290
RabbitMQ vs Kafka:正面交锋
消息队列技术选型:这 7 种消息场景一定要考虑!
我们在做消息队列的技术选型时,往往会结合业务场景进行考虑。今天来聊一聊消息队列可能会用到的 7 种消息场景。
jinjunzhu
2023/09/27
6390
消息队列技术选型:这 7 种消息场景一定要考虑!
RabbitMQ vs Kafka
本文翻译自国外论坛 medium,原文地址:https://medium.com/better-programming/rabbitmq-vs-kafka-1ef22a041793
wayn
2023/08/22
1980
RabbitMQ vs Kafka
IM系统的MQ消息中间件选型:Kafka还是RabbitMQ?
在IM这种讲究高并发、高消息吞吐的互联网场景下,MQ消息中间件是个很重要的基础设施,它在IM系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等等角色,当然MQ消息中间件的作用远不止于此,它的价值不仅仅存在于技术上,更重要的是改变了以往同步处理消息的思路(比如进行IM消息历史存储时,传统的信息系统作法可能是收到一条消息就马上同步存入数据库,这种作法在小并发量的情况下可以很好的工作,但互联网大并发环境下就是灾难)。
用户1212940
2022/04/13
1.2K1
IM系统的MQ消息中间件选型:Kafka还是RabbitMQ?
推荐阅读
相关推荐
RabbitMQ、Kafka对比(超详细),Kafka、RabbitMQ、RocketMQ的区别
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档