我正在尝试编写一段python代码来使用汇合的Kafka主题中的数据，并将数据验证作为测试项目的一部分。我能够读取数据，但是消费进程处于无限循环中，如果循环读取了所有消息，则该进程正在寻找退出的决策点。except KeyboardInterrupt: consumer.close()
浏览 10提问于2021-02-27得票数 0
2回答
我正在使用合流云，目前我希望防止带有坏模式的消息在我的kafka主题中被吞食。为此，我正在使用confluent的模式管理功能，在这里，如果消息与指定的模式不匹配，则应该拒绝它。我可以在融合的地方生产这个，但是在云上看不到拒绝。
以上答案是否参考他们的官方文件？或者任何指导融
浏览 4提问于2020-08-26得票数 2
回答已采纳
我有一个运行并经过测试的Kafka集群，并且正在尝试使用Python脚本向代理发送消息。当我使用Python3 shell并调用producer方法时，这是可行的，但是当我将这些相同的命令放入Python3并执行它时--脚本似乎挂起了。我正在为消费者和生产者使用kafka-python库。当我使用Python3
浏览 0提问于2019-04-05得票数 1
回答已采纳
我有一个接收二进制数据(原始数据包捕获数据)的Kafka主题。我可以使用Kafka CLI工具确认它确实是登陆数据。我每秒都会收到多条消息。kafka-console-consumer.sh --zookeeper svr:2181 --topic test
但是当我使用kafka-python时，我无法检索任何消息。(Pdb) consumer = kafka.
浏览 18提问于2017-03-15得票数 2
我想要备份和恢复一个Kafka主题中的大量数据到不同的目标(文件，另一个主题，S3，...)使用Kafka Connect。但是，它以流模式运行，因此永远不会终止。但在我的场景中，它应该在处理当前主题中的所有数据后自动退出(在我的上下文中，确保在备份开始之前关闭所有生成器)。是否有任何选项/参数可使Kafka Connect连接器在所有
浏览 0提问于2018-07-24得票数 0
我们有不同的消费者组，他们使用来自不同topics.We的数据，topic.We的不同分区需要允许一些消费者组访问特定的主题，以便只有这些组可以从主题中读取。我尝试了像这样的融合Kafka访问控制列表：
bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorize
浏览 9提问于2017-07-12得票数 1
1回答
如何使用小波变换融合两幅图像。有几种方法可用，如主成分分析，高通滤波，IHS等。我想知道如何使用小波变换进行融合。我知道背后的理论，并想知道如何在Python中实现它。这是一个基于小波变换的图像融合链接
浏览 42提问于2017-03-05得票数 0
您能在同一个Kafka主题中使用包含多个模式的AWS Glue Schema注册表吗？如果有的话，有人有例子吗？我知道有一些例子可以用于融合模式注册表，但我希望避免承载我们自己的模式注册表。
浏览 4提问于2021-12-29得票数 0
，并使用以下方法重新创建一个新的在kafka和kafka-manager启动并运行之后，我发现虽然我没有任何消息传递给“结束54”(红色的价值)是我重新开始卡夫卡之后从这个话题中消耗的数据的数量。
“偏移899”(蓝色值)是我重新开始卡夫卡之前从这个话题中消耗的</
浏览 0提问于2018-09-25得票数 1
我正在尝试使用apache的WriteToKafka类(python )编写一个流到Kafka主题。但是，它无休止地运行脚本(没有错误)，并且不向主题写入流。我必须取消运行，它不会停止，不会产生错误。任何帮助都是非常感谢的。下面可以找到一个很小的例子来重现问题import os
from apache_beam.options.pipeline_optionsimport Pipe
浏览 7提问于2022-07-06得票数 0
2回答
我正在尝试开发一个spring应用程序，它将接收用户的输入并将其存储到主题中，然后我不想从这个主题将它加载到cassandra (注：--不使用合流kafka版本)。因此，到目前为止，我能够在春季编写一个生产者和消费者逻辑，现在我需要将数据从kafka主题加载到cassandra。我该怎么做？当我浏览互联网时，有人建议我使用由融合卡夫卡提供的API。我不知道如何编写代码，也不确定我是否能用apache的非合流风格来实
浏览 4提问于2021-08-23得票数 0
回答已采纳
我目前正在计划将我们的Apache Kafka集群升级/迁移到基于Kafka的融合集群。我们当前的集群是0.9是0.10。是否可以简单地退役旧的代理，并使用相同的代理id重新引入升级的融合代理？
浏览 2提问于2017-11-30得票数 0
2回答
有没有可能有一个Kafka Streams应用程序，运行一个主题中的所有数据，然后退出？有可能吗？
浏览 26提问于2016-08-20得票数 8
回答已采纳
2回答
我正在处理卡夫卡的主题，并试图在我的本地机器上创建一个readStream。 .option("kafka.bootstrap.servers", "--xxx--:--xx--") \
.option("su
浏览 4提问于2021-08-01得票数 1
我使用的模式注册表与RecordNameStrategy命名策略，所以我有完全不同的avro模式的事件到相同的Kafka主题。我这样做是因为我想对逻辑上相关的事件进行分组，这些事件可能在同一主题下具有不同的数据结构，以保持这些数据的顺序。例如：user_created事件和user_mail_confirmed事件可能有不同的模式，但重要的是将它们放在同一个主题分
浏览 9提问于2020-12-17得票数 0
回答已采纳
found.; error code: 40401我使用KTable消费来自几个主题(topic_1，topic_2)的数据，连接数据，然后使用KStream将数据推送到另一个主题(Ktable.toStream())在使用以下命令检查模式时我发现
topic_1
浏览 0提问于2018-05-25得票数 2
回答已采纳
我正在寻找一种方法来显示我的API (本地主机)到我的docker使用kafka。 return self.next_v2()
File "/
浏览 8提问于2021-04-03得票数 0
1回答
我想捕获提交到Python表中的新插入，并在MySQL中处理这些记录。 例如:在一个"Order“表中，每次客户下订单时都会插入一条新记录。我想实时捕捉对Table所做的更改，并在Python中处理它，以便例如将此记录写入csv文件。 要做到这一点，最佳的方法是什么？我在考虑每秒运行一个脚本，跟踪表的总计数，每当计数上升时，我就拉出最新的x行。但也许有一种更简单、更可靠的方法？ 干杯!
浏览 10提问于2021-07-28得票数 0
回答已采纳
1回答
我刚刚开始玩apache，并试图让kafka字数在python中工作。我决定使用python作为一种语言，我可以在其他大数据技术中使用它，而且DataBricks也通过spark提供了他们的课程。我的问题是:我从这里开始运行基本的单词计数示例：，它似乎启动并连接到kafka日志，但我看不到它实际上产生了一个单词计数。然后，我添加了下面的行来写入文本文件，它只生成一堆空的</
浏览 3提问于2015-05-14得票数 1
我使用的是Axon版本(3.3)，它在SpringBoot主类中使用在我们的用例中，命令端微服务需要从kafka主题中挑选消息，而不是将其公开为Rest api。它会将事件存储在事件存储中，然后将其移动到另一个kafka主题，供查询端微服务消费。
由于KafkaAutoCOnfiguration被禁用，我不能使用</e
浏览 18提问于2019-07-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
