每个分区都有关于用户数据的消息。如果我没弄错的话，我应该创建单独的主题Usernames并附加所有请求的用户名。
浏览 51提问于2020-05-23得票数 0
回答已采纳
我试图了解Kafka压缩是如何工作的，并有以下问题: kafka是否保证主题中存储的消息的键具有启用压缩的唯一性？
谢谢!
浏览 0提问于2019-01-21得票数 2
回答已采纳
我们已经被提供了一个用于消费消息的kafka集群url，但我们作为消费者端有多个集群节点。
为了确保每个消息只被处理一次，我们将使用由我们的消费者组共享的公共group.id。我的问题是:我们如何确保我们不会选择已经被其他消费者群体使用的group.id？是否遵循了确保group.id唯一性的命名约定，或者我们是否应该为此联系Kafka集群维护者？
浏览 10提问于2021-11-30得票数 0
我正在尝试使用Kafka和Kafka Streams创建一个帐户管理服务。SignupRequest消息被放置在signup-requests主题上，使用该主题的流中的第一个处理器必须首先检查电子邮件的唯一性，这就是问题的起点，我正在考虑两种可能性，但我只是一个新手……
第一种方法是在KTable主题上创建一个accounts，这样我就可以用它来检查电子邮件的唯一性。第二个选项是查询数据库，其中的帐户实际上是直接持久化的，但是如何在kafka处理器中执行异步操作？这是一
浏览 0提问于2019-08-06得票数 0
回答已采纳
我们有一个公开HTTP端点的系统，该端点触发一些内部操作并将消息异步发送到kafka队列。我们希望在输入是HTTP请求，预期输出是发布到队列的消息的情况下测量性能。虽然HTTP请求是微不足道的，但Kafka listener一点也不重要。有没有办法配置/扩展JMeter以读取来自特定主题的消息并(理想情况下)在其上放置一些断言？
浏览 0提问于2018-07-31得票数 3
很难弄清楚如何使用java在0.9版本中创建一个主题。我看到有查询分区信息、主题等的方法，但是我看不出如何动态地创建一个主题。
浏览 4提问于2015-12-17得票数 8
回答已采纳
我们在kafka producer中使用幂等生产者模式，因为我们希望数据只存储一次，并且在代理中按顺序存储。这种速度变慢了，因为对broker的最大运行请求只能是5。另外，在producer，consumer和kafka broker运行的同一台机器上，我看到100k消息突发的平均延迟约为20ms到30ms。任何关于如何改善延迟的建议，同时保持语义“恰好只有一次，无缝和有序”。此外，报文是金融交易/报价报文，因此我们不希望有任何数据丢失或差距。
浏览 25提问于2019-03-13得票数 0
我打算使用Spring boot和webSocket以及Kafka实现一个聊天室，但是我需要知道Kafka是否提供了异步消息传递服务
浏览 2提问于2019-07-02得票数 0
以下是我为kafka生产者编写的python代码，我不确定这些消息是否可以发布到Kafka代理。因为消费者端没有收到任何消息。from __future__ import print_function
from pyspark import SparkContext ## Set
浏览 6提问于2016-09-13得票数 0
回答已采纳
有兴趣将数据从kafka转移到elasticsearch。所以我设置了。尽管我查看了所有文档和，但我仍然找到了如何配置连接器，以便将数据从kafka移动到elasticsearch (接近于实时)。也就是说，让连接器每秒使用来自( kafka )主题的消息，并将它们写入elasticsearch，模拟从kafka流到elasticsearch的消息流。,
浏览 1提问于2020-02-18得票数 0
我正在开发一个移动消息应用程序。我在浏览所需的技术时，发现了两个MQTT & Apache Kafta。在我看来，两者似乎都在以相同的方式做同样的事情(在订阅和发布主题方面)。
浏览 3提问于2016-05-23得票数 42
我正在尝试将Flume与Kafka集成，我想将本地计算机上的一个文件传递给Flume，然后再传递给Kafka。我想在Kafka Consumer中查看我的文件内容。# Describe the sink a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSinkBind the source and sink to the channel
a1.sources.r1.cha
浏览 0提问于2015-11-04得票数 1
我目前正在使用Kadeck社区，有时在docker上使用命令来查看保存在kafka上的消息，但现在我正在测试事务语义，我只想查看提交的消息。我很难做到这一点。任何人都知道如何只查看提交的消息，即使使用其他第三方应用程序，如Kadeck。谢谢!
浏览 0提问于2020-02-18得票数 0
我有一个流作业，它将数据写入Kafka，我注意到一个Kafka分区(#3)比其他分区接收更多的数据。| 6100140089 | 6288410789 |我找到了一个选项--使用Kafka
浏览 2提问于2020-05-22得票数 1
回答已采纳
我正在尝试阅读Spark集群中的Kafka主题，该集群使用结构化流式API与Spark中的Kafka集成 .master= sparkSession .format("kafka") .option("kafka.bootstrap.servers
浏览 3提问于2018-09-28得票数 0
我正在尝试使用Flink streaming来消费Kafka主题消息，并(定期)创建将保存在s3上的拼图文件。使用批量格式的流式文件接收器时，有没有办法更改创建的部品文件名(或添加后缀/前缀)，使其比part-0-0或part-1-3更具唯一性？
浏览 5提问于2019-05-21得票数 3
2回答
我正在尝试用设置一个简单的Kafka应用程序。我一直在尝试让我在网上找到的一些例子起作用，但似乎无法做到。我有一个运行在docker容器中的kafka实例。我测试了shell工具，实例确实工作正常。我能够发送和接收消息。我怀疑生产者消息超时了。下面是代码的两个版本，它们的行为基本相同：from kafka import SimpleProducer, KafkaClientkafka= KafkaCli
浏览 21提问于2017-07-09得票数 3
我有一个场景，我将不得不在Nifi Kafka消费者处理器中合并消息，通过Kafka生产者Jar发送的消息在本地调用..i能够在kafka消费者控制台中消费消息，但不能在Nifi...how中查看消息，如果消息为json格式
浏览 23提问于2020-02-17得票数 0
我们使用Apache kafka和Datatorrent来处理消息。有没有办法通过shell命令行查看kafka主题中的无消息？
谢谢
浏览 0提问于2016-10-12得票数 0
我和Kakfa Producer有120个数据生产者，他们每秒发送消息，有些有敏感的数据(我的意思是，我们必须发送是或是)，而且这些生产者有时可能关闭或失去互联网连接，所以我需要生产者中的容错。我知道有发送数据的方式，同步和异步，他们坚持尝试发送数据并将其保存在内存中，但如果我想将其保存在磁盘中而不是缓冲内存中，我们如何做到这一点。如果消息没有发送，我们如何在磁盘中保存它们？当Kafka生产者抛出异常时，我们如何控制？
浏览 0提问于2020-03-05得票数 0
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
