我需要在生产者中接受输入作为结构，而不是字符串，并在消费者中使用librdkafka库打印它。我对生产者代码进行了更改，甚至能够获得结构，但在消费者中，如果需要更多更改，它不会显示plz帮助。* The callback is only triggered from rd_kafka_poll() andrd_kafka_conf_set_dr_msg_cbreference it again after */
浏览 21提问于2021-06-22得票数 1
我有一个名称空间为"ca.gms.api-event-log“的Avro模式。我已经使用此模式将消息序列化为Kafka，成功地向Kafka模式注册表注册了该模式，并使用Kafka连接器将数据以.avro文件的形式发送到亚马逊S3。到目前为止，没有任何问题。我现在正在尝试使用Azure数据工厂将数据从亚马逊网络服务S3复制到Azure，但它抱怨以下问题：
浏览 15提问于2019-12-31得票数 1
当使用卡夫卡控制台消费者或kt(卡夫卡的GoLang工具)从卡夫卡主题消费时，我得到的是无效字符。\u0000\ufffd?尽管Kafka实际上可以将适当的数据汇到数据库中。
浏览 0提问于2019-02-04得票数 0
回答已采纳
1回答
我有一个系统将Avro数据推入到多个Kafka主题中。
在更改主题名称之后，我启动了kafka-connect-hdfs。这一步骤也是成功的。在此之后，我开始将数据推送给<e
浏览 2提问于2017-01-20得票数 1
2回答
我正在尝试使用AVRO 1.0.3从Kafka主题读取Flink数据。 }java -jar /path/to/avro-tools-1.8.1.jar(LegacyFetche
浏览 3提问于2016-08-02得票数 3
回答已采纳
我正在尝试调试为什么不可能反序列化我们通过Kafka接收的数据，并基于一些特定的模式使用avro序列化。
它看起来像这样。有一个用java编写的生产者，它根据某种avro模式序列化数据，将数据发送到Kafka主题，而在消费者端有一个用Golang编写的程序。但每次我尝试反序列化该数据时，我都会收到错误消息，指出无法反序列化，因为字符串的长度小于零。我在Kafka中
浏览 1提问于2021-09-12得票数 1
我们正在努力将Apache Storm与Kafka的Confluent框架集成在一起。在Pyleus bolt中，我们能够获得Kafka消息，但是，我们不能将其反序列化为JSON。我们使用了两个名为"avro_json_serializer“和"avro”的python-Avro模块。当我尝试反序列化我放在一起的简单Avro文件时，它们会起作用。Kafk
浏览 1提问于2016-03-01得票数 0
1回答
我试图使用avro模式将数据从logstash发送到kafka。我的logstash输出看起来如下： codec => avro { } at org.apache.kafka.connect.runtime.WorkerTask
浏览 5提问于2020-04-22得票数 1
回答已采纳
我已经通过本指南设置了Postgres连接器：
using Newtonsoft.Json.Linq;
{ var jsonconfig
浏览 3提问于2022-04-27得票数 0
回答已采纳
1回答
我有一个json文件，我想把它的内容发送给一个Kafka消费者。kafka使用Avro和一个遵守Json的模式我想发送.So有没有办法读取json，然后通过kafka发送它的全部内容，而不需要首先解析json，然后分别发送带有键和值的所有内容？ 谢谢。
浏览 17提问于2020-01-17得票数 1
我有一个Java应用程序，它使用Kafka来使用Avro消息。但是，当我的@KafkaListener试图反序列化消息时，我会得到以下错误消息：
org.springframework.kafka.listener.ListenerExecutionFailedExc
浏览 2提问于2021-05-05得票数 0
回答已采纳
我用VALUE_FORMAT='JSON' TOPIC='MYTOPIC'在KSQLDB中创建了一些虚拟数据作为流 设置已经结束了Docker-compose。我正在运行Kafka代理、Schema-registry、ksqldbcli、ksqldb-server、zookeeper 现在，我想使用该主题中的这些记录。我的第一个也是最后一个方法是在命令行上使用以下命令 docker run --net=host --rm confluentinc/cp-schema-
浏览 20提问于2021-04-23得票数 0
回答已采纳
我想对我的kafka流主题进行交互式查询。现在我想使用kafka流绑定器，但我不能让它工作。也许有人能帮我个忙。segments-in:
destination: segment
浏览 0提问于2018-08-03得票数 1
1回答
如果处理使用的消息的逻辑抛出异常，则错误处理程序将将消息发送到DLT。我希望以JSON的形式发送该消息，并忽略任何模式注册表内容。我遇到了问题，因为如果我尝试使用JSON序列化程序，它就无法序列化，因为它是一个Avro对象。value-serializer: com.amazonaws.services.schemaregistry.serializers.avro.AWSKafkaAvroSerializer第二个问题是原始侦听器和
浏览 14提问于2022-11-22得票数 0
回答已采纳
1回答
我需要将消息接收到我的BigQuery表，我想知道使用这些消息的最佳方式是什么。我在AWS的Kafka服务器会生成AVRO消息，根据我所看到的，Dataflow需要接收JSON格式的消息。因此，我搜索并找到了一篇文章，解释了如何向PubSub接收消息，但在PubSub上，我只看到在这种体系结构中，他们在GCP上创建了一个Kafka来生成消息。我需要知道的是：
可以从外部的Kafka服务器在PubSub上接收AVRO消息，然后使用messages反<
浏览 1提问于2021-04-27得票数 3
回答已采纳
1回答
给定一个AVRO模式，我创建一个符合此模式的JSON字符串。如何使用AVRO序列化JSON字符串以将其传递给卡夫卡生产者，后者需要AVRO编码的消息？
我发现的所有示例都没有JSON作为输入。顺便说一句，接收方随后将消息反序列化为POJO --我们正在不同的技术栈中工作。所以，基本上是JSON -> Kafka -> POJO。
浏览 1提问于2022-02-01得票数 0
1回答
我正在从kafka读取Avro作为字符串，我正在尝试使用java代码将字符串avro转换为Json。@KafkaListener(topics = "#{'${kafka.consumer.topics}'.split(',')}", containerFactory = "kafkaListenerContainerFactory= message.getBytes(); //T
浏览 188提问于2021-07-26得票数 1
1回答
我正在使用一个Kafka部署，它是，而不是使用任何的。
我正在寻找解决这个问题的方法，以便能够在这些
浏览 0提问于2020-05-05得票数 0
回答已采纳
1回答
我有主题post_users_t，当我在它上面使用PRINT命令时，我得到 rowtime: 4/2/20 2:03:48 PM UTC, key: <null>, value: {"userid":从开头打印主题： ksql> print 'post_users_t' from beginning limit 2;
Key format: SESSION(AVRO) or HOPPING(AVROor SESSION(JSON) or HOPP
浏览 13提问于2020-04-02得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
