我想处理从Kafka流到PySpark的日志数据并保存到拼图文件中，但我不知道如何将数据输入到Spark。请帮帮我谢谢。
浏览 68提问于2020-07-04得票数 0
我有几个名单，我想通过卡夫卡制片人发送。listA [1,2,3]
listB ["cat", "dog", "fish"] 生产者以字节的形式发送消息，所以我不确定如何正确设置消息，以便列表在需要引号发送消息时发送。
浏览 46提问于2019-03-19得票数 1
我目前正在实现节点红色上的流，其中MQTT用户节点向kafka生产者节点(即节点红色上的输出节点)发送数据。如果Kafka生产者节点无法在远程Kafka情况下发送数据，那么从MQTT用户节点推送到Kafka生产者节点的数据会发生什么变化。
我承受不起一个单一的数据集。
浏览 3提问于2016-02-03得票数 1
回答已采纳
我可以在kafka中使用线程向单个主题发送消息吗？我开发了一个kafka生产者在春季启动发送消息到一个kafka主题，我需要知道是否有可能创建多个线程发送多个消息到一个主题。例如:在一个生产者中创建三个线程，同时将三个不同的消息从每个线程发送到单个kafka主题。有可能吗？make this有一些特定的配置吗？
浏览 1提问于2019-04-04得票数 2
为什么kafka 0.10控制台生产者不能向kafka 0.9发送消息？
我在0.9版本中启动了kafka控制台消费者(在服务器端)。我正在启动0.10版本的kafka控制台生产者(在客户端)。为什么新的生产者不能向旧的消费者发送消息？是否可以将新的生产者设置为一种弃用模式，以便向旧的kafka发送消息？53,365错误
浏览 11提问于2016-08-30得票数 0
回答已采纳
我正在使用syslog-ng(最新版本3.30)和kafka(2.2)。syslog-ng和kafka在3个节点上运行，客户端向多个syslog-ng发送日志，将这些日志发送给kafka broker，因为kafka syslog-ng是生产者。我面临的问题是，多个作为生产者的syslog-ng正在向主题发送相同的数据。在kafka主题中，如果一个客户端向
浏览 7提问于2021-06-02得票数 1
我是卡夫卡中使用spring引导的新手，我在projet中工作，我希望将卡夫卡使用spring集成到其中，所以问题是我想从生产者那里向消费者发送消息，即使卡夫卡服务器不运行(离线模式)。有人能给我举一个例子，说明在离线模式下如何使用kafka，我找不到这个主题的tuto --我想停止我的kafka服务器(例如)，同时生产者想要发送数据到主题，那么消费者就可以得到这些消息？*将数据发送到文件，当服务器
浏览 0提问于2019-02-25得票数 2
回答已采纳
我们目前正在使用HDF (Hortonworks ) 3.3.1，它捆绑了Kafka 2.0.0，并试图在分布式模式下使用Kafka启动Google Sink连接器。我们正计划将一些元数据发送回Kafka主题，并需要将Kafka生成器集成到Sink任务java代码的flush()函数中。会对卡夫卡连接向卡夫卡提交补偿的过程产生负面影响(因为我们将增加运行卡夫卡生产者的开销)。
同样，卡夫卡连接在连接器属性中没有为接收器或源指定启动服务
浏览 3提问于2020-02-12得票数 0
回答已采纳
假设我给了一个使用者(比如Python )，它使用以下方案来接收整数： "name": "Sample",}
现在，我希望创建一个使用此方案并向Python使用者发送
浏览 0提问于2020-10-21得票数 0
我有一个运行并经过测试的Kafka集群，并且正在尝试使用Python脚本向代理发送消息。当我使用Python3 shell并调用producer方法时，这是可行的，但是当我将这些相同的命令放入Python3并执行它时--脚本似乎挂起了。我正在为消费者和生产者使用kafka-python库。当我使用Python3 shell时，我可以看到使
浏览 0提问于2019-04-05得票数 1
回答已采纳
我想在我的本地机器上执行Kafka Consumer (Java代码)，而我的Kafka生产者和Kafka客户端在另一个Hadoop集群中？我可以使用kafka生产者脚本( kafka - console -producer.sh)向kafka集群发送消息，但无法在本地eclipse控制台中访问kafka消费者的消息？
浏览 1提问于2017-04-05得票数 0
1回答
我在windows中运行Kafka。我正在用下面的命令创建一个Kafka控制台生产者 C:\kafka_2.11-2.4.0\bin\windows>kafka-console-producer.bat --broker-list localhost:9092 --topic input-topic 并使用以下命令创建kafka控制台消费者 C:\kafka_2.11-2.4.0\bin\windows>kafka-con
浏览 8提问于2020-09-23得票数 0
当用户上传时，Web客户端将处理csv文件，web客户端从csv文件中读取每10,000行，并将csv总行数的数据消息发送给生产者。生产者将消息发送给kafka，然后消费者提取消息，并将数据导入elasticsearch。同时，使用者使用数据消息长度和csv总计数来更新任务进度，如果有，也会更新错误日志。代理客户端监视日志文件的更改，一旦新日志出现，它就会向生产者发送消息，就像web客户端一样，但它并不关心进度。因为
浏览 2提问于2017-10-26得票数 0
有一个微服务，调度器触发向Kafka发送消息的逻辑。问题是，如果有多个微服务实例，那么每个实例都会向Kafka发送一条消息。如何在所有生产者之间实现幂等？我的意思是，如果'equal‘消息将被发送给Kafka和不同的生产者，那么它将只在日志中提交一次。
浏览 6提问于2019-10-12得票数 1
回答已采纳
我正在尝试制作一个Producer来向JHipster发送消息。我在他们的网站上提出了一个简单的例子：
from kafka import KafkaProducer
# connect to Kafka
浏览 2提问于2017-11-15得票数 0
回答已采纳
kafka-控制台-生产者-代理-列表本地主机:9092-主题com-hftl2 < file.txt
向主题com-hftl2发送消息时出错(键为: null，值: 20299831字节带有错误：(org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.RecordTooLargeException：)序列化时消息为20299
浏览 1提问于2019-12-25得票数 0
在Kafka诉0.8.2中，是否仍有可能/有益地将ProducerRecords列表作为生产者发送，而不是一次只发送一个？检查API时，org.apache.kafka.clients.producer.KafkaProducer似乎无法使用一个发送调用发送多个producerRecords。但是，在javaapi下的生产者中，可以发送keyedMessages列表。有人
浏览 0提问于2015-07-07得票数 2
回答已采纳
1回答
正如我所看到的，Kafka模板内部使用了Kafka生成器。我只想知道到底有什么不同。此外，我发现与Kafka producer相比，Kafka模板中提供了许多send()方法。
请帮我拿一下。
浏览 1提问于2020-09-09得票数 1
我有一台运行在AWS中的kafka机器，它由几个主题组成。我有下面的Lambda函数，它生成一条消息，并将其推送到其中一个kafka主题。import json from kafkaimport SimpleProducer from kafka kafka = KafkaClient("XXXX.
浏览 12提问于2019-07-19得票数 6
回答已采纳
1回答
我正在使用confluent- Kafka -python ()向Kafka发送一些消息。我不经常发送消息，所以希望延迟非常非常低。如果我这样做，我可以让消息以大约2毫秒的延迟显示给我的消费者： "queue.buffering.max.msqueue.buffering.max.me
浏览 28提问于2017-01-21得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号