kafka-python包含多个创建/删除主题的模块，同时还会传递多个配置。有没有办法将额外的配置添加到以下方法中-
NewTopic(name=topicname, num_partitions=1, replication_factor=1)
浏览 16提问于2020-02-11得票数 0
回答已采纳
我没有创建许多主题，而是为每个使用者创建了一个分区，并使用键存储数据。那么有没有一种方法可以让消费者组中的消费者从存储特定键的数据的分区中读取数据。如果是这样，您可以建议如何使用kafka-python (或任何其他库)来完成此任务。
浏览 0提问于2019-02-26得票数 0
1回答
我使用的是python 3.6.8和kafka-python=2.0.2 有没有办法从python代码中设置主题的分区数量？dumps(x).encode('utf-8'))
producer.send("RANDOM_NEW_TOPIC", value={'test'}) 我检查了手册，但看不到如何更新主题的分区数量
浏览 19提问于2020-10-20得票数 0
回答已采纳
但是，当您在组中添加使用者时，Kafka (或者至少是kafka-python)假定您希望组协调器完成所有任务。有没有办法仍然保留使用使用者组的所有好处(特别是自动提交)，同时能够手动管理分配分区？我使用的是kafka-python 1.3.3库。
浏览 8提问于2017-09-20得票数 2
3回答
我在“掌握卡夫卡流和ksqlDB”一书中遇到了以下两个短语，作者使用了两个术语，它们的真正含义是“压缩主题”和“未压缩主题”。
表可以看作是对数据库的更新。在日志的此视图中，只保留每个键的当前状态(给定键的最新记录或某种聚合)。表通常是由压缩的主题构建的。在数据库术语中，流可以被看作是插入。每个不同的记录都保留在日志的这个视图中。流通
浏览 3提问于2020-07-21得票数 0
我在互联网上搜索python库来管理kafka操作，如主题的增删改查、分区增量、分区重新分配、领导者选举等，我什么也没找到。我知道pykafka，kafka-python，但它们用于创建消费者/生产者，我可以使用kazoo进行主题的CRUD，但我不能执行我提到的其他操作。你能推荐一些用来管理kafka集群的python库(如果有)吗？
谢谢!
浏览 5提问于2017-11-27得票数 1
我目前正在使用Confluent.Kafka构建发布者和消费者资产，我正在尝试了解我是否需要在代码中做任何不同的事情。我能够创建主题日志压缩，但我不完全了解如何在C# .NET核心中使用它。我的主要问题是，在创建一个启用了日志压缩的主题后，是否有任何必须在代码中完成的操作才能使用它，或者这些都是在幕后处理的。 如果有代码特定的方面要写，有没有人可以给我举个例子？我已经研究了几天了，
浏览 47提问于2020-09-04得票数 0
回答已采纳
1回答
我有一个使用Streams 1.1.1的微服务(计划很快升级到2.1 )，即将聚合记录发布到一个压缩的主题(“customer- KTable”)，以供下游微服务作为其输入事件使用。这最终创建了两个主题，它们具有相同信息的完全相同的副本。“customer-events”是一个；另一个是为支持状态存储而在幕后创建的内部事件。两者具有完全相同的键和值。 有没有办法...A)优化内部主题命名约定，这样我们就可以简单地<e
浏览 21提问于2019-02-05得票数 1
回答已采纳
1回答
卡夫卡物化观点
、、
据我所知，卡夫卡默认情况下将在主题中保留记录7天，然后删除它们。但是卡夫卡物化的观点又如何呢，卡夫卡将把数据保存多久(不定式还是有限的时间)？同样，卡夫卡是否复制了集群上的物化视图？
浏览 1提问于2018-08-26得票数 1
回答已采纳
我在尝试使用卡夫卡主题的信息。我使用的是confluent_kafka消费者的包装器。在开始使用消息之前，我需要检查是否建立了连接。b'Broker: No more messages'
那么，我如何判断连接参数是错误的，连接是中断的，还是主题中实际上没有消息？
浏览 2提问于2020-04-15得票数 8
回答已采纳
为Kafka消息队列需要一个适当的python库-客户机端和服务器端示例，以及python中的示例。
将结果反馈给客户。
浏览 10提问于2022-01-24得票数 0
我正在使用以下代码来编写Kafka：KeyedMessage<String, String> data = new KeyedMessage<String, String>(topic, partitionKey, payload);
我们使用的是0.8.1.1版本的Kafka。有没有可能当多个线程正在写入时，其中一些线程(具有不同的负载)使用相同的分区键写入，并且因为
浏览 2提问于2014-10-30得票数 2
对于postgres，我在postgres的手册中看到了一个'archive_command‘设置。方向对吗？
杨
浏览 0提问于2013-08-01得票数 0
使用正常的k流，kafka将每个应用程序的偏移量存储在其内部偏移主题上。在重新启动应用程序时，应用程序将根据auto.offset.reset策略重新处理主题。这确实是的解释。我正在使用kafka流的GlobalKTable在应用程序上复制数据。GlobalKTable没有什么不同，只是启用了日志压缩功能的主题。创建状态的javadoc：
streamsBuilder.globalTable("some-topic", Materi
浏览 0提问于2018-03-24得票数 1
回答已采纳
我目前使用的是kafka-python==2.0.1， from kafka import KafkaAdminClientresponse = admin.create_topics([topic])
print(response) 但无法创建主题
浏览 26提问于2020-06-10得票数 0
我们有一个需求，要求删除/清除主题中任何给定分区的数据。我使用的是Kafka 0.10.0.1。有没有办法可以按需删除整个分区内容？如果是，那么是如何实现的。我看到我们可以使用日志压缩来发布一个键的空消息并删除它，但除此之外，还有什么方法可以实现删除吗？
浏览 0提问于2016-11-11得票数 4
1回答
从标准化表中获取实时更新
、、、
我有一个mysql数据库，其中有将近250个表，这些表的更改数据是使用debezium捕获的，并发送给kafka有关它们各自的主题。这些表是高度标准化的，我感兴趣的是一个非规范化的视图，它是通过加入一些表创建的。现在我需要知道，每当桌子有变化的时候，我就会把它看作是一个几乎实时的变性话题的变化。我在这里还有什么其他的可
浏览 0提问于2018-08-07得票数 4
我是cron作业的新手，我需要每30分钟恢复一个数据库(mysql)。有没有一个cron job命令可以从一个压缩过的.sql文件中恢复数据库？或者，我是否需要创建一个php脚本来执行此操作，并创建一个cron作业来每隔30分钟调用一次此脚本？另外，这是一个单独的问题，但仍然与cron作业有关，我使用cron作业每天备份一次不同的数据库，对其进行压缩并将其放在根目录上的文件夹中。有没有办法(自动)删
浏览 2提问于2010-10-27得票数 7
回答已采纳
我对压缩算法几乎没有经验；我的经验来自于运行tar czvf命令。有没有办法在C中压缩char数组？
我主要关注的是速度和内存优化。我正在从串行端口接收数据，然后立即将它们写到日志文件中。我希望在将数据写入日志文件之前对其进行压缩/加密，因为我的硬盘空间有限。我还以ASCII格式存储信息，因为我必须用时间戳将其打包。我应该用什么方法来压缩这些信息？或者有没有什么库可以帮上忙呢？
浏览 0提问于2011-07-06得票数 2
回答已采纳
我使用bitnami/kafka docker模板创建了一个kafka设置。在多次重新创建容器(我无法连接到9092上的Kafka )之后，我终于启动并运行了我的集群。我目前的问题是，我无法使用kafka-python库和以下代码来使用任何消息： from kafka import KafkaConsumer
from kafka import TopicPartition我试着使用Conduktor应用程序消费相同的主题，
浏览 48提问于2020-01-19得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
