kafka消息队列-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

kafka消息队列

专栏成员

2

文章

1592

阅读量

1

订阅数

Kafka与Spark Streaming整合

java kafka 消息队列 CKafka 版

Spark Streaming是一个可扩展，高吞吐，容错能力强的实时流式处理处理系统。一般的系统架构图是，数据从一个源点，经过Sparing Streaming处理，最后汇聚到一个系统。Spark Streaming的数据来源可以非常丰富，比如Kafka, Flume, Twitter, ZeroMQ, Kinesis 或者是任何的TCP sockets程序。对于数据的处理，Spark Streaming提供了非常丰富的高级api，例如map，redue，joini和窗口函数等等。数据处理完成后，可以存储到其他地方，比如文件系统，对象存储，数据库。典型的数据处理流程图：

2021-01-13

5040

Kafka消息存储原理

java 消息队列 CKafka 版 kafka scala

Kafka作为一个高性能的消息队列中间件，有着高效的消息存储方式。我们知道在Kafka中，消息是以topic的形式进行逻辑上的隔离，一个topic又可以分为多个分区，当我们发送消息的时候，会根据某种规则（可以是默认规则，也可以是自定义规则），把消息存储到某个分区当中，同时消息会被分配一个序列号，也就是我们常说的offset，这个offset是一个不断递增的数值。

2021-01-13

1.1K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态