1回答
我有两个Avro模式V1和V2，它们如下所示：我是不是漏掉了什么？我的理解是avro支持向后兼容性。Exception in thread "main" java</em
浏览 10提问于2021-11-14得票数 1
回答已采纳
在某些情况下，Microsoft Azure决定以avro格式转储数据。从我的角度来看，有问题的数据只是json记录。所以，我只需要从avro文件中取回我的json数据。我正在研究如何“反序列化”avro数据，以及这里的示例： https://avro.apache.org/docs/1.8.1/
浏览 11提问于2019-06-07得票数 0
2回答
Avro消息中的架构
、、、、
我看到Avro消息嵌入了模式，然后是二进制格式的数据。如果发送了多个消息，并且为每条消息创建了新的avro文件，那么嵌入Schema不是一种开销吗？那么，这是否意味着，对于生产者来说，批量处理消息然后写入总是很重要的，所以多个消息写入到一个avro文件中，只携带一个模式？另一方面，在使用Generic/SpecificDatum编写器进行序列化时，是否可以选择消除
浏览 4提问于2018-07-23得票数 2
3回答
我们需要序列化一些数据，以便放入solr和hadoop中。我名单上的前两名是葛森和阿夫罗。据我所知，Avro = Gson +Schema In-JSON我在网上搜索了很多，但找不到一个正确的答案。但是，即使在这种情况下，模式也可以单独存储，仅仅
浏览 2提问于2013-12-12得票数 31
我在avro_schema.avsc中存储了一个AVRO模式。这是一个模式 "name": "FSP-AUDIT-EVENT", "namespace": "com.acme.avro",
"fields":我应该把这个<e
浏览 1提问于2020-01-06得票数 3
文本文件中的xml数据。将它们导入flume和kafka到hdfs，并将它们保存为.txt文件格式。退出用例: xml文件正在通过flume→kafka→flume截取程序(验证模式是否有效)-->发送到有效或无效的kafka tpoic→hdfs接收器(有效和无效)保存在flume文件中。新的是：
我需要采取有效的kafka主题，并需要编写自己的冲水槽拦截器，以转换xml数据为avro格式，
浏览 15提问于2017-08-21得票数 0
我在文件中有一条二进制格式的avro消息。foo_id”：“string”、"null"}、{"name":"foo_id“、"type":"int”、“null”}}^Tavro.codec^Lsnappy^@目录/n B<9b>}
我只是对模式感兴趣是否有一种方法只从该文件读取/解析架构？我目前正在手工解析这个文件以提取模式
浏览 4提问于2016-06-20得票数 0
回答已采纳
1回答
我们正在编写一个自定义接收器连接器，用于将带有avro消息的主题的内容写入CEPH存储。
为此，我们提供了一个SinkRecords，它有一个Kafka模式，它是我们的avro模式的映射版本。因为我们想要将Avro写到CEPH，所以我们使用connect API方法将Connect模式转换回avro。我们为什么要这么做？引入Kafka连接
浏览 2提问于2017-09-19得票数 5
回答已采纳
1回答
我有一个带有第一个模式的avro文件，然后我更新了附加到同一文件的模式。所以现在我在一个文件中有两个模式。avro是如何处理这种情况的。我是否会在文件中添加任何新字段，或者在读取此数据时会丢失任何数据。这是一个实时流应用程序，我在其中将<e
浏览 0提问于2017-11-06得票数 0
3回答
数据序列化框架
、、
我是这个Apache (序列化框架)的新手。我知道序列化是什么，但是为什么会有单独的框架，比如avro、节俭、协议缓冲区和
请帮助我理解所有这些！！
浏览 1提问于2013-01-10得票数 5
回答已采纳
1回答
我将Person记录定义为Avro (person.avdl)：protocol PersonProtocol { string firstName; } 我正在生成java文件，所以这个文件生成PersonProtocol.java
浏览 1提问于2013-02-06得票数 3
1回答
亚马逊Kinesis声称支持Avro文件。同时，Kinesis会摄取许多记录，并将它们粘合到一个大文件中。如果我们放入的每个记录都是一个Avro文件，Kinesis将这些文件粘合在一起形成更大的文件，那么我们将拥有具有无数
浏览 0提问于2018-05-10得票数 2
3回答
我一直在想，在使用静态类型化语言(如Java )使用Kafka主题的消息时，是否需要使用Avro模式注册表。我正在使用来自Kafka主题设置的信息，如下所示： props.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG，我有.avsc文件来定义FooClass类的架构。我还将avro
浏览 5提问于2020-04-20得票数 1
回答已采纳
1回答
当我尝试使用我各自的模式对数据运行时，它返回错误"AvroRuntimeException:格式错误的数据。长度为负：-40“。我看到其他人也遇到过类似的问题：、和。我还引用了这个，它们都很有帮助，但是到目前为止对这个错误没有任何帮助。它一直运行到这部分代码(第73行)我已经尝试了其他解码器，并打印出了avro
浏览 0提问于2016-03-16得票数 11
回答已采纳
我想使用提供的Avro模式，而不是Spark的自动生成模式，以Avro格式编写DataFrame。我如何告诉斯派克在写时使用我的自定义模式？阅读与avroSchema的使用。") .option
在这里我对上面的数据执行一些spark.sql并存储到DataFrame.当我试图基于avro模式将avro</em
浏览 0提问于2020-06-28得票数 1
2回答
在我的应用程序中，需要为Map of Map (4级嵌套地图)定义Avro Schema。除了最后一张图(最终的内部图)，我在每个级别都使用了键。我想知道这个模式的优缺点是什么。性能有什么问题吗？
浏览 1提问于2017-03-29得票数 0
我正在尝试从SparkSQL中写入和读取镶木面板文件。出于模式演变的原因，我希望在写入和读取时使用Avro模式。我的理解是，这在Spark之外(或在Spark内手动)是可能的，例如使用AvroParquetWriter和Avro的通用API。但是，我想使用SparkSQL的write()和read()方法(它们与DataFrameWriter和DataFrameReader一起工作
浏览 1提问于2017-01-04得票数 5
我是Hadoop的新手，必须深入研究它的序列化。我知道Hadoop有它自己的序列化程序，叫做Writables。我很好奇Avro (或者protobuf，thrift)是否取代了Writables接口，或者Avro只是为了序列化MR客户端数据，而不是namenode和datanode之间的内部通信。
浏览 2提问于2012-05-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
