我需要访问avro文件数据在一个程序写在java上的火花核心。我可以使用MapReduce InputFormat类，但它为我提供了一个包含每一行文件作为键的元组。JavaPairRDD<AvroKey<GenericRecord>, AvroValue> avroRDD = sc.newAPIHadoopFile("dataset/testfile.avro",AvroKeyIn
浏览 0提问于2016-08-12得票数 0
我有一个简单的spark任务的问题，它读取Avro文件，然后将其保存为蜂巢镶嵌板表格。Dataset<SomeClass> df = avroDF.as(Encoders.bean(SomeClass.class));
SomeC
浏览 6提问于2018-01-29得票数 4
回答已采纳
当使用商业中心Gradle插件从Avro方案生成java代码时，它接受具有字段的对象，如"type": [ {
"type": "类，包括枚举字段(如Rule )。我想使用公共库中的方法，但是Avro生成的模型具有更高<
浏览 0提问于2018-11-20得票数 0
在java中可以导入和使用两个具有相同名称和包的不同类吗？java有没有什么特性可以让我导入和隔离这些类呢？为了详细说明，我以本不应该更改的方式更改了我的avro模
浏览 0提问于2011-07-30得票数 18
Avro 1.8.2列出了以下记录字段属性:名称、文档、类型、默认、顺序和别名。它似乎没有指定如何处理未定义的字段名。我继承了包含另一个属性“.avsc”的源文件，该属性具有一致的"element“值，后跟字段名称。例如，字段xyz“source”："element xyz“
我想知道这个属性是否可以安全删除？此属性的存在与否对生成的<
浏览 14提问于2018-02-24得票数 0
回答已采纳
在我们的restAPI中，我们将获得一个复杂的JSON有效负载，并将其映射到POJO中。基于avro avsc模式文件，我使用avro-maven-plugin生成一些avro模式类。我的问题是，当我们使用KafkaTemplate向kafka和模式注册表发送消息时，我们需要使用avro对象发送消息。由于字段数量庞大，我们无法手动将有效负载请求对象的值映射
浏览 7提问于2022-05-17得票数 1
回答已采纳
1回答
我想将csv文件转换为json文件/输出。csv文件具有标头。我希望将csv标头映射到json文件或输出中的不同字段。因此，假设csv文件包含标题类别、货币。我想让json的字段名为cat，crcy。
我使用的是CsvSchema、CsvMapper和Pojo。json字段名称。我可以将</e
浏览 10提问于2021-09-06得票数 1
我没有找到任何关于如何使用Avro格式加载的代码示例。我没有找到关于如何使用bq-tool进行加载的示例。此外，我还有Java程序，它执行相同的操作(从表X提取并加载到表X)，结果相同(内部错误)。在Java中，如果我从空表中提取并插入该表，则插入作业不会失败。
我的
浏览 5提问于2016-04-20得票数 1
回答已采纳
1回答
我试图将它们设置为尽可能具有动态性和灵活性，以涵盖尽可能多的用例。})}我所拥有的一个非常常见的模式是将具有不同字段的文件从不同来源映射到公共格式因此，一个想法是使
浏览 0提问于2019-05-12得票数 1
回答已采纳
3回答
场景-客户端使用序列化POJO，并将GenericRecord写入文件。(注意顺序- A、B、C、D)反序列化记录的子集(客户端保证具有这些字段)。" }, { "name": "D", "type": "string" }}
问题:使用上述子集模式的
浏览 6提问于2017-08-24得票数 7
1回答
($"value", jsonFormatSchema) as $"avroFields"){ "namespace": "foo.bartwo", "null", ],
"default&quo
浏览 10提问于2021-11-14得票数 1
回答已采纳
1回答
我有两个具有匹配名称空间和字段名的.avsc文件。生成时，从第一个模式生成的类将被来自第二个模式的类覆盖。是否有一种方法可以在特定目录中生成类，但只用于其中一个.avsc文件？如果我在avro模式中更改名称空间，那么一切都很好，但是Kafka消息没有被读取，我得到了以下错误：
显然，因为
浏览 4提问于2021-06-30得票数 0
回答已采纳
Avro SpecificRecord (即生成的java类)是否与模式演化兼容？也就是说，如果我有一个Avro消息的来源(在我的例子中是kafka)，并且我想将这些消息反序列化为一个特定的记录，那么是否可以安全地进行呢？我看到的是：
即使消息是兼容<
浏览 3提问于2015-11-26得票数 14
回答已采纳
我的Hbase表中包含序列化的avro (使用havrobase放入)和字符串数据。我知道Hive表可以映射到hdfs中存储的avro数据进行数据分析，但我想知道是否有人尝试将hive映射到包含avro数据的hbase表。基本上我需要能够查询存储在Hbase中的avro和非avro数据，做一些分析，并将结果存储在不同的<
浏览 3提问于2014-02-22得票数 0
我目前正在寻找解决方案，在处理特定的AVRO schema演进场景时，使用Java并在使用者中进行深度复制，以将GenericRecord类解析为从AVRO schema生成的特定类。"name":"thirdfield", "default":""
浏览 15提问于2019-05-19得票数 1
1回答
我想将字节数组中的数据反序列化为Avro生成的类。我假设发生这种情况是因为Avro希望缓冲区数据是由Avro本身序列化的特定
浏览 19提问于2021-11-04得票数 0
1回答
循环引用未在Avro中处理
、、、、
有一个名为Avro的工具，它随Avro一起提供，可用于JSON、(.avsc)和二进制格式之间的转换。但它不适用于循环引用。", "name":"hello", }命令在上面的上运行avro工具
java -jaravro-tools-1.7.6.jar来
浏览 0提问于2014-06-09得票数 4
我在将JSON文件转换为avro format时遇到了一个问题。但在这种情况下，JSON数据具有不同的字段值，例如：但是作为模式定义语言的<
浏览 0提问于2015-05-27得票数 0
1回答
我有一个卡夫卡主题，没有阿夫罗模式的信息。我们最近希望使用avro模式将消息推送到此主题。我有一个消费者从这个话题中消费。-> --如果我在使用者配置中将value.deserializer设置为"StringDeserializer.class"，则可以使用这些消息，但是，具有avro模式的消息现在看起来是加密的。我已经为avro模式生
浏览 1提问于2018-12-10得票数 2
回答已采纳
我最近开始学习Scala，并尝试使用Java中的Scala代码。导入的jar文件可以工作，并包含我的类和方法；然而，当我发现在可用于导入的类中，我可以同时访问DiceRoller和DiceRoller$，并且还可以在普通类中访问attribute_$eq等方法，我感到有点惊讶DiceRoller在Scala中被定义为对象，其余的类被定义为类，如果这可能会说明问题。我还知道关于匿名<
浏览 0提问于2015-06-07得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
