1回答
我有一个学习使用Kafka Streams的项目，但我真的有麻烦。我正在使用kafka-streams版本1.0.1。我们有一个带有如下风格的消息的主主题流： "phenomenonTime" : "2017-04-03T16:08:19.000Z",
"resultTime" : "2017-04我如何通过Kafka Streams实现这一点？我希望你能帮助我，更好地开始使用<e
浏览 4提问于2018-08-05得票数 3
在Samza和Kafka流中，数据流处理是在处理步骤( Samza中称为“作业”，Kafka Streams中称为"processor“)的序列/图(Samza中称为”数据流图“，Kafka Streams但是：
Samza将每个工作人员(即作业)分别复制到多个任务(输入流中的每个分区一个)。也就是说，任务是工作流工作人员的副本。Kafka流</em
浏览 2提问于2016-12-09得票数 27
2回答
如何从一个主主题生成多个流？/* Filtering logic */streams.start();org.apache.kafka.streams.err
浏览 5提问于2017-02-23得票数 14
回答已采纳
如果我想从多个服务器发送流数据，该怎么办？
有没有人能给我举个工作的例子？我使用的是pyspark。
浏览 4提问于2015-08-22得票数 1
我的理解是，创建是为了与Kafka客户端API交互，后来创建项目是为了“构建与共享消息传递系统相连接的高度可伸缩的事件驱动的微服务”，该项目包括两个绑定程序，其中一个是允许与Kafka交互的绑定器。spring-cloud-stream-binder-kafka-streams
因此，我很清楚，如果我想与Kafka交互，我将使用spring云流方法和适当的绑定器。'org.springframework.kafka:spring-kafka&
浏览 3提问于2021-11-10得票数 0
回答已采纳
1回答
我的工作是从远程数据库获取数据，并将它们连接到一个kafka流中(丰富)。我现在要做的是定期将远程数据库轮询到本地内存中。我认为当这个轮询操作发生时，kafka流应该被暂时停止。我现在的想法是有这样的东西：private KafkaStreams streams;
@Scheduled(cron = "0 0/15 * * * *") // thismethod is scheduled to run ever
浏览 19提问于2017-08-23得票数 0
回答已采纳
2回答
我有一些基本的Kafka流代码，可以从一个主题读取记录，进行一些处理，并将记录输出到另一个主题。
Kafka streaming是如何处理并发的？所有的东西都在一个线程中运行吗？相对于其他选项(Spark、Akka、Samza、Storm等)，Kafka内置的流媒体API是否不推荐用于大流量场景？
浏览 1提问于2016-10-12得票数 27
回答已采纳
Apache Beam和Apache Kafka在流处理方面有什么不同？我也在努力掌握技术和编程上的差异。
请通过您的经验报告来帮助我理解。
浏览 1提问于2018-06-15得票数 10
在Kafka Broker上，建议对消息日志使用多个驱动器来提高吞吐量。这就是为什么他们有一个log.dirs属性，可以有多个目录，这些目录将以循环方式分配给分区。我们已经为事件驱动的kafka应用程序安装了很多这样的安装，我们有4个节点，每个节点有5个磁盘。现在，我们希望使用带有键值存储的Kafka流，在该存储库中，我们将计算出来的数据持久化，用于快速范围查询。我们看到Kafka-Streams将分区1对1映射到多个</em
浏览 6提问于2020-03-16得票数 1
回答已采纳
kafka流如何保证由kafka broker分配给它的分区与分配给其他主题的分区匹配？好像需要协调一下吗？而且，卡夫卡流总是从一开始就阅读压缩的主题，还是从最新的偏移量中读取？
浏览 2提问于2020-07-31得票数 0
回答已采纳
假设我在Kafka Streams应用程序中有一个内存缓存。输入主题有2个分区，因此为了获得最大的并行性，我使用2个线程配置了1个streams应用程序实例。在我的流处理器中，我进行远程调用来获取一些数据，并将其放入Map中以对其进行缓存。由于Kafka streams将为每个任务分配一个线程，并且两个任务将尝试并行更新缓存的map，我是否需要注意确保缓存的map线程的安全？在可能运行多个Kafka streams任
浏览 9提问于2020-07-26得票数 0
Kafka是很常见的。所以很多公司都在使用它。我完全理解Kafka和Spark是如何工作的，我对他们都很有经验。我不理解的是用例。为什么你要把Kafka和Spark一起使用，而不仅仅是Spark呢？在我看来，Kafka的主要用途是作为ETL管道中的中转区，用于实时(流)数据。
我假设有一个数据源集群，数据最初存储在其中。例如，它可以是Vertica、Cassandra、Hadoop等。然后是一个处理集群，它从数据源集群读取数据，并将其写入分布式Kafka日志，这基本上是一个登台数据集群。
浏览 3提问于2019-06-17得票数 3
1回答
我正在尝试使用golang在Go中创建一个kafka流客户端。据我所见，这只有在使用Java客户机时才有可能。我做了一些搜索，并找到了其他一些第三方图书馆，但没有正式的。另外，根据我有限的理解，我认为流是语法糖而不是标准消费者吗？这是对的吗？
浏览 4提问于2021-12-13得票数 1
3回答
消费者和流的区别是什么？对我来说，如果有任何工具/应用程序使用来自Kafka的消息，那么在Kafka世界中，它就是一个消费者。
流是如何不同的，因为这也消耗或产生信息给卡夫卡？
浏览 2提问于2017-05-17得票数 158
回答已采纳
我正在研究kafka-streams api。基本上，kafka流从源主题中获取数据，在应用了一些过滤器后，它会将其写回目标kafka主题。<dependency> <artifactId>kafka-streams</artifactIdStreamsCo
浏览 2提问于2019-01-26得票数 0
在应用程序启动时运行KafkaStreams.cleanUp()
org.apache.kafka.streams.errors.StreamsException: Deserialization exception handler is setat org.apache.kafka.s
浏览 0提问于2018-03-09得票数 2
我有一个春季引导应用程序，在那里我使用apache streams。我不使用春云流。我添加了执行器健康检查端点。2019-09-17 13:16:31.522 INFO 1 --- [ Thread-5] org.apache.kafka.streams.KafkaStreams : stream-client[lpp-model-stream-7e6e8fea-fcad-4033-92a4-5ede50de6e17] Streams client stopped complet伊利
如何将</e
浏览 13提问于2019-09-19得票数 7
回答已采纳
1回答
读取、转换和写入具有不同结构的流的最佳方法是什么？我有一个来自两个不同的kafka主题的应用程序，其中有两个readstreams和writestreams。这两种流具有不同的结构，并遵循不同的转换过程。当将单个数据文件写入控制台时，我只看到控制台输出中的一个流，而不是两个流： .format("kafka")
浏览 2提问于2022-09-11得票数 0
回答已采纳
我们有一个带有多个avroregistry的KafkaAvroSerde。在某个时候，serde尝试在1 url上注册模式时超时，但是由于它向流应用程序抛出IO异常，流线程关闭了。从kafka流应用程序的角度来看，这种类型违背了在创建avro serdes时支持多个urls的功能，因为DSL堆栈中出现的运行时异常将关闭stream Thread。我们是否需要在应用程序逻辑中执行重试(当您简单地将主题具体化到商店中时，这可能是很棘手的)？当物化到本地rocksDB商店时，是否添加了
值以在
浏览 0提问于2018-11-02得票数 2
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
