4回答
我有一个avro数据文件，我需要将其转换为csv文件。Avro totext工具目前不支持使用自定义架构。有没有什么工具可以做到这一点？我是否需要使用avro工具对其进行编码？
浏览 1提问于2014-07-11得票数 4
1回答
它一直运行到这部分代码(第73行)我已经尝试了其他解码器，并打印出了avro变量的内容，我相信你会期望序列化的byteArrayInputStream数据看起来是什么样子(在消息中，我可以看到模式和一些数据以及一些格式错误的数据)，我已经使用.available
浏览 0提问于2016-03-16得票数 11
回答已采纳
我正在使用Benthos从Kafka读取AVRO编码的消息，它的kafka_key元数据字段设置为也包含AVRO编码的有效负载。这些AVRO编码的有效负载的模式存储在有一个用于解码它们的处理器中。我希望为每个包含两个字段的Kafka消息生成一个输出JSON消息，一个字段名为content，包含解码的AVRO消息，另一个字段名为metadata，包含由Benthos收集的各种，包括解码的kafka_k
浏览 12提问于2022-02-12得票数 2
回答已采纳
如果我使用模式版本1序列化对象，然后将模式更新到版本2(例如通过添加字段)--在以后反序列化对象时是否需要使用模式版本1？理想情况下，我希望只使用模式版本2，并让反序列化对象具有在对象最初序列化后添加到模式中的字段的默认值。FileOutputStream out = new FileOutputStream("user.avroreader = new SpecificDatumRe
浏览 3提问于2012-08-28得票数 14
回答已采纳
我使用的是avro-1.10.1 jar和下面的示例代码。这是读取存储在本地系统上的avro文件数据。在reader.read方法中抛出的异常，其中它试图访问in.readIndex，但失败。GenericDatumReader<GenericRecord>(schema);
InputStream inputStream = new FileInputStream(new File("E:\\QA_1040\\AVRO_UNI.avro:187)
浏览 1提问于2020-12-17得票数 0
Avro向后兼容性返回空记录。我发送一个由schema_ver1.avsc编码的记录和一个由schema_ver2.avsc编码的记录到kafka，然后，我通过ver2模式(Avro_json_schema_ver2)查询名为“avro_sink3解码”的火花放电流内存接收器。我希望有这样的记录。预期记录|from_<em
浏览 4提问于2021-12-13得票数 0
我需要创建一个从几个主题读取的Spark流，并为每个主题使用不同的解码器(每个主题包含一个不同的avro编码对象)： schem = avro.schema.parse(open("error_list.avsc").read()) decoder = avro.io.BinaryDecoder(bytes_reader)
浏览 2提问于2016-10-04得票数 2
我希望使用Avro来序列化我的Kafka消息的数据，并希望将其与Avro模式存储库一起使用，这样我就不必在每条消息中都包含该模式。在Kafka中使用Avro似乎是一件很受欢迎的事情，许多博客/ Stack Overflow问题/用户组等都提到将Schema Id与消息一起发送，但我找不到一个实际的示例来说明它应该去哪里。如果它在Avro消息中，您将不得不根据模式对其进行解码，以获得消息内容并显示需要解码的模式，这存
浏览 71提问于2015-07-03得票数 21
回答已采纳
我正在尝试使用Avro来读取/写入Kafka的消息。有谁有使用Avro二进制编码器来编码/解码将放在消息队列中的数据的示例吗？
我更需要Avro的部分而不是Kafka的部分。基本上，我正在尝试寻找一种在空间方面更有效的JSON解决方案。之所以提到Avro，是因为它可以比JSON更紧凑。
浏览 2提问于2011-11-28得票数 29
回答已采纳
我正在试图解码从web服务器加载的.avro文件。“S3 Objavro.schema�{”type“：”记录“，”名称“：”目的地“，.”我猜是avro容器文件
我发现'‘和'’是处理.avro格式和javascript的工具，但是阅读听起来像是容器文件解码的文档只能在Node.js中进行，而不是在浏览器中。( FileDecoder/Encoder方法将文件路径作为字符串，而不
浏览 5提问于2021-10-05得票数 1
回答已采纳
我正在尝试读取映射的结果--精简函数配置为Avro格式--但我做不到。部件-00000文件的头看起来是这样的：37 .另一种类型：“记录”，82个附属“领域”(左号在文件中！！)。
我怎么读这个文件？
浏览 2提问于2013-10-21得票数 0
我们目前通过csv或直接通过流式API将大部分数据加载到BigQuery中。然而，我想知道是否有可用的基准(或者Google工程师可以在答案中告诉我)加载不同格式的效率如何比较。，如果我们有相同的100行数据，BigQuery是否显示与加载它有任何性能差异：
我相信其中一个答案将是“为什么你不测试它”，但我们希望，在架构转换器或重写我们的应用程序之前，工程师可以与我们分享(如果有的话)上述格式中，什么将是最具表现力的数据从一个平面文件加载到烧烤
浏览 1提问于2018-03-14得票数 1
回答已采纳
2回答
} }, ]当我使用Json解码器和avro编码器编码Json数据时：val reader = new GenericDatumReader: [ &quo
浏览 2提问于2018-01-24得票数 1
我已经使用ExecuteSQL从数据库中检索了一些二进制文件(在本例中是一些PDF)，它以Avro FlowFile格式返回结果。我不知道如何从Avro记录中得到二进制结果。ConvertRecord的记录写入器选项似乎都不适合二进制数据。 我能想到的最好的解决方案是在二进制文件离开数据库之前对其进行base64编码，然后我只处理字符数据，并可以在NiFi中解码它
浏览 12提问于2020-08-12得票数 0
1回答
如何处理连接的Avro文件？
、、、、
这些数据被编码并发送到，它每300秒钟左右缓冲并写入亚马逊的S3。由于我有多个web服务器，这会导致多个Avro文件被发送到Kinesis，并将它们连接起来并定期写入S3。当我从S3获取文件时，我不能使用普通的Avro工具来解码它，因为它实际上是一个文件中的多个文件。我可以添加一个分隔符，但如果记录的数据也有相同的分隔符，这似乎是有风险的。
处理这件事最好的方法是什么？我在标准中找不到支持连接到同一个文件中的多个Avro</e
浏览 4提问于2015-11-25得票数 5
回答已采纳
根据我对avro的理解，所有avro记录都会附带一个模式。kafka生产者将数据转换为字节数组并发送给kafka使用者。使用者返回发送的数据。
浏览 3提问于2017-06-16得票数 2
回答已采纳
1回答
我正在写一个php脚本使用avro来反序列化数据。我接收数据作为avro二进制流的缓冲区。在avro php示例中，我只看到了一个从文件中读取数据的示例。不是二进制缓冲区。
如何对数据进行反序列化？我正在寻找的是一个avro的二进制解码器
浏览 3提问于2016-04-21得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
