我希望配置一个Kafka主题，这样每条记录都有24小时的TTL，从它第一次写入到从主题中删除 使用这个页面：https://kafka.apache.org/documentation/#brokerconfigs我看过一些属性，但它们都引用了日志的保留，而不是单个记录。可以在主题上配置基于记录的TTL吗？
浏览 18提问于2020-07-27得票数 0
回答已采纳
有没有办法从kafka主题中删除一条记录？我知道有脚本kafka- delete -records.sh可以删除指定主题和分区上指定偏移量之前的记录，但我希望能够删除指定偏移量上的记录。这不是在Java上，而是在kafka的裸实例上。
浏览 9提问于2020-02-13得票数 1
回答已采纳
我有一个主题，在这个主题中，我从各种设备上获得了一系列事件。有n个设备每秒发出一次天气报告。对于设备1：- t1，t1(在同一时刻，然后间隔s秒) t2，t2(然后间隔s秒)，t3，t3
然而，我想在kafka中删除这些作为突发事件出现的重复记录我试图使用Kafka stream API提供的窗口和kta
浏览 2提问于2018-07-07得票数 0
我需要从Kafka主题中读取记录，一旦读取了50条记录，就调用一个在单个请求中接受50条记录的API。
当应用程序没有任何数据库可供存储时，您有什么建议吗？我能够阅读Kafka主题中的记录，寻找有关如何将记录排入队列直到计数达到50的建议。
浏览 16提问于2020-03-30得票数 0
我遇到了这个问题，我的应用程序每5分钟运行一次，从云中有一些记录的blob中读取数据，并将这些记录处理到kafka主题中。问题是，现在它在单个实例中运行，没有问题，但如果我计划在多个实例中运行，如果两个实例同时运行相同的记录，那么在kafka主题中将会有重复的记录，因为代码库是相同的。
浏览 7提问于2020-05-06得票数 0
我使用带有模式timestamp+incrementing的JDBC源连接器从Postgres获取表，使用Kafka。数据更新反映在卡夫卡主题中，但删除记录没有任何影响。所以，我的问题是：
有处理已删除记录的方法吗？如何处理已删除但仍然存在于卡夫卡主题中的记录？
浏览 5提问于2020-09-08得票数 2
回答已采纳
我正在尝试运行kafka connect来进行弹性搜索。但是由于一些错误，我在kafka主题中输入了错误的记录。现在我修复了这个问题并插入了正确的值，但elastic search仍然在主题中的前一条记录中抛出错误 下面是错误 Caused by: org.apache.kafka.connect.errors.DataException，并告诉kafka connect选择最新的记录？我正在尝试删除被标记为
浏览 19提问于2020-01-14得票数 0
回答已采纳
我们有一个Kafka流聚合拓扑。我们需要控制changeLog主题的大小，以降低Kafka存储成本。因此，我们在拓扑中使用transformer (DSL API)来调度一个标点符号，该标点符号使用keyValueStore.delete()从stateStore中删除旧记录。我能够验证在delete之后，在标点符号的进一步预定触发器上，被删除的键不在状态存储中。但是它是否也从changeLog主题中删除了该记录呢？
浏览 3提问于2020-08-29得票数 2
我正在寻找从卡夫卡主题中删除(完全删除)消耗的记录的方法。我知道有几种方法可以做到这一点，例如，通过更改主题的保留时间或删除Kafka-log文件夹。但是，如果可能的话，我要寻找的是一种使用Java为主题删除一定数量的记录的方法。但是如果我没有弄错的话，这种方法只会改变主题中的偏移量，而不是从硬盘中删除这些记录。
是否有实际从硬盘中删除<
浏览 0提问于2018-07-11得票数 4
回答已采纳
我想删除日志压缩主题中的所有记录，而不关闭kafka集群，也不删除主题。谷歌了相当多，但找不到一种方法来删除日志压缩主题中的所有记录。 谢谢你艾哈迈德
浏览 18提问于2020-08-21得票数 0
回答已采纳
1回答
最近，我看到了关于Apache Kafka文档中有关处理Kafka流中的无序消息的文章。
在主题分区中，记录的时间戳可能不会随偏移量单调增加。由于Kafka流总是试图处理主题内的记录--按照偏移顺序进行分区，因此它可能导致具有较大时间戳(但偏移量较小)的记录比同一主题中具有较小时间戳(但更大偏移量)的记录更早地被处理。根据我的理解，如果单个分区中的消息是由单个生产者产生的，
浏览 0提问于2019-02-04得票数 0
我正在试着从kafka中删除旧的消息，它没有像预期的那样工作。我已经配置了kafka rentension.ms，log.cleanup属性也。但是它在5分钟后没有删除旧的消息。这是配置，在5分钟内，新消息也会发布，尽管kafka主题中存在较旧的记录。您能帮我解决这个配置中缺失的问题吗？因为它增加了存储成本。
浏览 6提问于2020-09-02得票数 1
正如我从Debezium的常见问题中读到的，据说：
大多数连接器都会将单个数据库表的所有事件记录到单个主题。此外，一个主题中的所有事件都是完全有序的，这意味着所有这些事件的顺序都将被维持。但是，Apache在单个分区中只有排序保证。因此，如果我期望对主题中的事件进行排序，我必须设置该主题只有一个分区，这就牺牲了Kafka的吞吐量，否则就需要使用其他机制。我的问题是，Debezium如何在一个主题中实现排序保证？或者
浏览 0提问于2020-08-18得票数 3
我有一个使用Spring Cloud Stream Kafka的应用程序。对于用户定义的主题，我可以通过下面提到的配置从指定的主题中删除记录。但此配置不适用于DLQ主题。因此，在绑定级别下定义的我的生产者主题(学生主题)配置正确，当主题日志超过指定的保留字节(300000000)时，我可以检查记录是否被删除。除保留时间外，是否有任何不同的配置用于清除DLQ主题中的记录。 cloud:
stre
浏览 51提问于2021-03-12得票数 1
回答已采纳
我有一个Kafka主题，它通过设置cleanup.policy=compact启用了压缩。我的segment.bytes属性被设置为稍微大一点的值(100Mb)，以便我的代理运行良好。如果我有一个使用主题作为GlobalKTable的Kafka streams应用程序，并且主题中的单个分区键有多个记录，那么该应用程序在GlobalKTable中只会收到1条记录，还是会有两条记录，直到压缩开始
浏览 16提问于2020-08-27得票数 1
回答已采纳
我使用Kafka创建了Kafka消费者代码，我能够成功地从Kafka主题中获取记录，并能够处理这些记录。我在下面的应用程序日志中看到了显示为"Node -2断开连接“的错误，但是仍然没有影响，kafka streams API正在成功地从kafka主题中获取事务。clientId=consumer-5322b972-1ef9-4976-b7fa-39a934374757-admin org
浏览 4提问于2022-09-23得票数 0
1回答
据我所知，动物园管理员存储有关kafka的元数据，主要涉及领导选举、分区细节等。但是当我删除/tmp/kafka-logs目录并重新启动kafka时，它再次在/tmp/kafka-logs目录中获取数据。
是否有可能动物园管理员也持有数据，并将其传递给卡夫卡来同步？
浏览 1提问于2018-03-28得票数 1
回答已采纳
我正在使用spring-kafka 2.2.8，试图理解单个记录消费者和批量消费者之间的主要区别是什么。 据我所知，从一个主题中读取消息/字节对于单个记录消费者和批量消费者来说没有什么不同。
浏览 170提问于2020-10-17得票数 0
回答已采纳
1回答
推荐使用哪一种: 1.单个kafka流从多个主题中消费2.不同的kafka流从不同的主题中消费(我已经使用过它，没有遇到任何问题)
是否有可能达到#1？如果是的话，这意味着什么？kafka版本:2.2.0CP2
浏览 1提问于2020-06-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
