Avro GenericData记录应该在哪里转换为实现Avro SpecificRecord的CustomEvent？
Avro GenericData记录应该在数据接收端转换为实现Avro SpecificRecord的CustomEvent。
Avro是一种数据序列化系统，它定义了一种数据结构描述语言（Schema），用于描述数据的结构和类型，并提供了一种二进制数据格式，用于高效地序列化和反序列化数据。Avro GenericData记录是一种通用的数据记录类型，可以用于表示任意Avro数据。
在数据接收端，当接收到Avro GenericData记录时，可以通过将其转换为实现Avro SpecificRecord的CustomEvent来进行进一步处理。Avro SpecificRecord是根据Avro Schema生成的具体数据记录类型，它提供了更加方便的访问和操作数据的方法。
转换过程可以通过使用Avro的代码生成工具来实现。首先，需要定义CustomEvent的Avro Schema，并使用Avro的代码生成工具生成对应的Java类。然后，可以使用Avro的反序列化方法将接收到的Avro GenericData记录转换为CustomEvent对象。
在腾讯云的云计算服务中，推荐使用腾讯云的消息队列 CMQ（Cloud Message Queue）来接收和处理Avro数据。CMQ是一种高可靠、高可用的消息队列服务，可以实现消息的可靠传输和异步处理。通过将Avro GenericData记录转换为CustomEvent，并使用CMQ进行消息传递，可以实现高效的数据处理和传输。
腾讯云CMQ产品介绍链接：https://cloud.tencent.com/product/cmq
相关·内容
CustomEvent implements org.apache.avro.specific.SpecificRecord {}
@KafkaListener(topics = "..再到CustomEvent SpecificRecord的转换。但在组件测试中，这取决于我们在哪里运行它们(本地gradle / docker中的gradle)，它要么变成绿色，要么在"Cannot convert from [org.a
浏览 37提问于2021-04-13得票数 0
我使用Confluent.Kafka.Avro在Apache Kafka的生产者和消费者之间进行序列化。在生产者中，我使用特定记录，但在消费者端，我希望将所有记录作为通用记录使用，然后将它们转换为特定记录。有没有办法自动做到这一点？或者需要实现所有这些转换？
浏览 0提问于2018-08-23得票数 0
序列化的对象是avro生成的SpecificRecord类，例如EmployeeCreatedEventpayload bytea,我的环境: Confluent 6.0.1
配置：之前，我从模式注册表获取模式并转换为<
浏览 0提问于2021-01-31得票数 1
我正在寻找一种方法，以通用的方式将POJO转换为avro对象。实现应该对POJO类的任何更改保持健壮。我已经做到了，但是明确地填写了avro记录(参见下面的示例)。有没有一种方法可以摆脱硬编码的字段名，只填充对象中的avro记录？反射是唯一的方法，还是avro提供了这种开箱即用的功能？import java.util.Date;
import j
浏览 3提问于2015-07-03得票数 19
我是Avro的新手，我正在尝试编写一些代码来序列化一些嵌套对象。对象的结构如下所示： String recipe;}
Object value;因此，我不能使用静态的avro模式--每个PluginDump将有不同的模式，这取决于其中的类型。这
浏览 2提问于2017-03-07得票数 0
回答已采纳
2回答
我有两种不同类型的Avro数据，它们有一些共同的字段。我想读一下地图中那些常见的字段。我想通过在集群中生成一个作业来阅读这篇文章。。下面是示例avro模式}package com.mango.schema.aggrDaily;
浏览 2提问于2014-04-23得票数 0
1回答
我正在做一个程序，它从kafka中提取一个字节数组，解密它(因此它在kafka上是安全的)，将字节转换为字符串，将json字符串转换为json对象，从模式注册表查找模式(利用CachedSchemaRegistryClient)，使用从注册表元数据检索到的模式将json字节转换为通用记录，然后将该通用记录序列化为avro字节。我是不是实现了一些糟糕的东西，或者有没有其他方法可以用我的用例来实
浏览 25提问于2019-06-27得票数 1
我正在编写一个工具，使用Avro 1.8.0将数据从本地格式转换为Avro、JSON和Parquet。从org.apache.avro.data.Json.java的角度来看，在我看来，Avro似乎是在对照它自己的Json记录模式(第58行)来检查我的记录模式是否相等(第73行)。定义记录的字段类型：
{"type": "record", &
浏览 2提问于2016-02-24得票数 0
回答已采纳
<action_states_pkey>create())MyClassKafkaAvroDeserilizer在哪里java -jar pathtoavrotools/avro-tools-1.8.1.jar compile schema pathtoschema/action_states_pkey.avscstate_id","type":["null&
浏览 1提问于2019-09-13得票数 0
2回答
比方说，我发布并使用不同类型的java objects.For --我必须定义自己的序列化器实现。我们如何在"serializer.class“属性下的kafka消费者/生产者属性文件中提供所有实现？
浏览 2提问于2016-05-02得票数 3
回答已采纳
如果任何精通Apache Avro的Java实现的人正在阅读本文，那么这在某种程度上是一种徒劳无功的尝试。现在，除非有某种方法可以以某种方式将InputStream强制转换为文件(建议没有这种方法，我也尝试了查看Java文档)，否则如果OutputStream另一端的读者接收到avro容器文件(我不知道为什么他们允许将容器文件读取器的实现似乎需要concrete提供的“可查找”功能。
好吧，所以看起来这种方法不会达到
浏览 27提问于2011-09-24得票数 20
我正在从nifi-user日志文件本身读取流/批格式的记录，用于测试场景，并使用Avro nifi处理器转换为ConvertRecord格式，然后使用PublishKafka_2_0处理器发布到kafka因此，现在当记录被转储到kafka上时，它是作为单个数组完成的，而不是单独的记录。有没有办法把记录分解成一个单独的实体。我已经尝试过拆分记录处理器了，它似乎没有达到预期<
浏览 0提问于2019-04-08得票数 2
2回答
我想用与编写器模式不同的读取器模式反序列化命令行上的Avro数据。我可以在序列化时指定编写器架构，但不能在反序列化期间指定。"name": "test2", "aliases": ["test1"]}$ java -jar avro-tools-1.8.2.jar fromjson --schema-file
浏览 7提问于2017-12-24得票数 3
回答已采纳
为了帮助更详细地理解我的问题，我提供了下面的代码片段； Avro模式 在这篇文章中，我使用了一个样例模式，定义了一个带有2个字段的嵌套Object1记录。LoggerSink.java:95)] Event: { headers:{} body: 54 65 73 74 Test } 然而，我并不清楚我应该在哪里配置有没有人能帮我弄清楚我哪里错了？或者，如果我误解了Flume是如何将Flume事件转
浏览 21提问于2019-02-18得票数 1
回答已采纳
1回答
我希望使用火花流存储Hbase/HDFS中的protobuf消息。我有两个问题
如何存储原型消息的层次结构？我的意思是，应该在存储之前将嵌套的元素夷为平地，还是有任何机制来按原样存储它们？如果嵌套元素是集合或映射，那么它们是否应该爆炸并存储为
浏览 5提问于2016-06-22得票数 2
回答已采纳
5回答
我只是个初级开发人员，但在我从事过的大约六个项目中，总是存在这样的情况： //if everything's ok employee is assigned}如果我尝试对此方法进行单元测试，则需要创建一个成熟的workplace和employee对象。在行的</e
浏览 0提问于2017-11-18得票数 7
3回答
请看看您是否可以告诉我如何处理我的情况下的DST问题。首先，我的应用是一个物流系统，它是针对全局用户的，所以它涉及时区问题，在设置用户本地预订日期时，我将按如下方式处理：
1.当用户登录应用程序时，我们可以根据登录IP得到用户的时区，但这只是一个偏移量(我不记得这个东西的术语了2.在用户保存预订之前，我们需要设置预订本地日期，因为我无法获得用户本地日期直接.so我将首先获得服务器日期(在我的情况下，它是BeiJing时间)，然后根据服务器日期和用户时区计算本地日期，例如
浏览 3提问于2013-08-29得票数 5
12回答
国际象棋优化
、、
好的，我已经在我的国际象棋程序上工作了一段时间了，我开始碰壁了。我希望它很快成为多线程的，这应该会给我的性能带来很好的提升，但除此之外，你们还遇到过什么其他的小把戏吗？我曾考虑过改用MDF(f)，但我听说这很麻烦，也不值得。我最感兴趣的是某种学习算法，但我不知道是否有人用国际象棋程序有效地做到了这一点。
另外，切换到位板会有重大意义吗？我目前使用的是0x88。
浏览 3提问于2009-07-10得票数 23
4回答
使用这样的函数：#include <stdlib.h>#include <unistd.h>
} else { }我在输出中看到了print_trace的细节其他的方法是什么呢？
浏览 8提问于2010-06-30得票数 62
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
