Flink kafka消费者从特定分区获取消息

文章/答案/技术大牛

发布

1回答

Flink，在使用多个Kafka源时，如何正确设置并行性？

apache-flink、flink-streaming

我仍然不能清楚地理解并行性，比方说，我们有一个flink集群，它有足够的插槽。在我们的flink工作中，我们从3个不同的kafka集群中使用3个kafka主题，每个主题有10个分区。如果我们想尽快使用该消息。并行性应该是什么？如果我们将并行性设置为10，那么就会使用10个槽，这意味着，根据我的理解，10个线程对吗？

浏览 0提问于2019-03-13得票数 12

回答已采纳

1回答

kafka作为flink - partitioning的消息分派器

java、apache-kafka、apache-flink

我有一个进程，需要将某些数据分派到由3个节点组成的flink集群(通过kafka)。据我所知，总共会有两个不同的主题。所有的消息都会有时间戳。消息顺序必须保持不变。我不能理解消息分区(键)背后的机制。如果我希望拥有如上所述的简单消息分派器，消息分区重要吗？如果是这样，我应该根据什么来选择它？

浏览 1提问于2018-09-10得票数 0

3回答

用于消息处理的多个节点

concurrency、apache-kafka、apache-flink、spring-kafka、high-availability

我们在Kubernetes上部署了一个spring引导应用程序来处理消息:它从Kafka主题中读取，然后执行一些映射，最后，它写到Kafka主题。为了获得更高的性能，我们需要更快地处理消息，因此我们引入了这个春季引导应用程序的多个节点。请自

浏览 6提问于2020-04-24得票数 0

1回答

如何为消费者设置卡夫卡补偿？

apache-kafka、apache-flink

假设我的主题中已经有10个数据，现在我开始编写Flink，消费者将使用第11个数据。 }和pom.xml： &l

浏览 1提问于2018-10-31得票数 2

回答已采纳

2回答

使用Kafka作为Flink的输入源是性能瓶颈吗？

apache-kafka、apache-flink、kafka-consumer-api

Flink允许阅读Kafka主题，这是性能瓶颈使Flink整体速度变慢吗？

浏览 3提问于2018-11-01得票数 0

1回答

生成“假”流数据。卡夫卡

java、apache-kafka、apache-flink、stream-processing、event-stream-processing

我试图生成流数据，以模拟在不同的时间范围内接收两个值( Integer类型)的情况，使用时间戳和Kafka作为连接器。我应该直接从卡夫卡得到数据吗？如果是的话，最好的方法是什么？或者，如果我把Flink制作出来的数据作为一个制作人，发送给Kafka，然后用Flink在结束时再使用它，也许会更好？我怎么才能从弗林克那里做到呢？或者，还有另一种简单的

浏览 2提问于2018-08-20得票数 2

4回答

Kafka:生产者如何才能只发送给某个Consumer/GroupId

apache-kafka

自从我开始使用Kafka以来，我注意到Kafka正在广播每个消费者或群体的消息。如何让生产者只将消息发送给某个特定的消费者？我说的是一个主题系统谢谢

浏览 1提问于2018-01-04得票数 0

2回答

使用Flink动态创建和更改Kafka主题

apache-kafka、apache-flink

我使用Flink从不同的Kafka主题读取和写入数据。具体来说，我使用的是FlinkKafkaConsumer和FlinkKafkaProducer。我想知道是否有可能根据我程序中的逻辑或记录本身的内容来更改我正在阅读和写入的Kafka主题。谢谢。

浏览 5提问于2018-08-18得票数 2

1回答

同一Kafka主题的多个Flink管道

apache-kafka、apache-flink

背景时不时地，我们的Flink不能处理突发信息。如果我们使用常规的Kafka用户，那么就像添加一个用户一样简单(假设我们有足够的Kafka分区)，并且Kafka将在所有用户之间重新分配主题分区。Flink Kafka消费者自己管理分区分配和偏移量，这允许只有一次

浏览 27提问于2019-11-14得票数 1

1回答

一份Flink工作什么时候可以从卡夫卡那里消费？

java、apache-kafka、apache-flink

我们有一个Flink作业，它具有以下拓扑结构：我们在接收器操作符open-override函数中设置了一个活动(就绪)状态。

浏览 4提问于2022-09-19得票数 0

回答已采纳

1回答

Flink如何发现每个键的所有kafka分区

apache-flink、flink-streaming

我希望flink发现每个密钥的所有kafka分区。我有30个分区和12个任务。我通过用户id "keyby“我的数据。我认为每个任务的flink只能发现特定的kafka分区&我不能在一个任务中检测到每个用户的所有数据。

浏览 29提问于2019-10-07得票数 0

1回答

apache-kafka、apache-flink、flink-streaming

我们希望在读取来自kafka的消息时实现并行性。因此，我们希望在flinkkafkaconsumer中指定分区编号。它将读取kafka中所有分区的消息，而不是特定的分区号。

浏览 139提问于2020-07-09得票数 1

1回答

Flink-多种主题的卡夫卡消费者

java、apache-kafka、streaming、apache-flink

我有一个Flink卡夫卡消费者，从多个卡夫卡主题(3在我的例子)。在kafka上，每个主题有5个分区。默认情况下，Flink创建了多少消费者。卡夫卡信息的消费非常缓慢，所以我无法计算出每个主题所附带的消费者数量。

浏览 0提问于2018-07-24得票数 1

1回答

卡夫卡主题顺序

jdbc、apache-kafka、apache-kafka-connect

我有一个使用如下代码的Kafka连接器： SELECT CAST ( id as VARCHAR) as key_id, id ...

浏览 16提问于2019-11-07得票数 2

回答已采纳

1回答

使用队列实现Kafka生产者消费者聊天

python、apache-kafka、kafka-python

我已经使用python.How创建了实现的Kafka生产者-消费者消息传递主题我可以对队列做同样的事情，这样消息就只会发送给一个消费者。这是我的生产者代码from kafka import KafkaProducer

浏览 3提问于2020-12-03得票数 0

2回答

所以我决定使用kafka来达到这个目的。我们在系统中有更多的服务，但为了简化我的问题，假设我有两种类型的服务，即工作节点和主节点。我希望它们都是可伸缩的。目前，他们通过kafka进行交流。我的问题:对于一个案例，我想从主节点发布一个事件(生成一个主题的消息)，并从所有工作节点获取该事件(从主题消费)。但是对于另一种情况，我需要向特定的工作节点发送消息。为了能够涵盖第一种情况，我的所有工作节点在kafka中都有不同的组ids，当一条消息</em

浏览 1提问于2019-09-06得票数 0

1回答

当Flink源运算符为并行时，是否保证单个分区的输入顺序？

apache-flink

我知道来自一个主题的一条消息只能被一个组中的一个消费者消费，并且在一个消费者组中，每个消费者负责一个或多个分区。如果一个主题有4个分区，为了获取数据，我使用了env.addSource(FlinkKafkaConsumer).setParallism(4)，它实际上会创建4个消费者实例吗？如果不是，当4个消费者共享同一个分区时，如何保证消息的顺序？

浏览 22提问于2020-05-13得票数 0

回答已采纳

1回答

3.x -回放消息策略

apache-kafka、kafka-consumer-api、spring-cloud-stream

我正在寻找一些关于使用Spring 3.x / Kafka绑定器实现的Kafka主题的回放消息策略的指导-一般来说，关于消息回放的最佳实践是什么。谢谢您抽时间见我。

浏览 1提问于2020-08-18得票数 1

3回答

如何强制消费者读取kafka中的特定分区

apache-kafka、kafka-python

我有一个应用程序下载特定的网页内容，从一个从1 Kafka产生的URL流-生产者。我已经创建了一个有5个分区的主题，有5个kafka-consumers。然而，网页下载的超时时间是60秒。当其中一个url正在下载时，服务器会假定该消息已丢失，并将数据重新发送给不同的消费者。是否可以在kafka中将特定的消费者与分区绑定？我在我的应用程序

浏览 4提问于2017-08-29得票数 4

回答已采纳

点击加载更多

Flink，在使用多个Kafka源时，如何正确设置并行性？

kafka作为flink - partitioning的消息分派器

用于消息处理的多个节点

如何为消费者设置卡夫卡补偿？

使用Kafka作为Flink的输入源是性能瓶颈吗？

生成“假”流数据。卡夫卡

Kafka:生产者如何才能只发送给某个Consumer/GroupId

使用Flink动态创建和更改Kafka主题

同一Kafka主题的多个Flink管道

一份Flink工作什么时候可以从卡夫卡那里消费？

Flink如何发现每个键的所有kafka分区