1回答
正在尝试读取avro文件。val df = spark.read.avro(file)尝试手动创建架构，但现在遇到以下问题(file)
com.databricks.spark.avro.SchemaConverters$IncompatibleSchemaException:无法将Avro<em
浏览 0提问于2018-06-15得票数 1
1回答
问题 我希望将如下所示的普通Json文件转换为avro模式，以使其在具有confluent模式注册表的apache kafka中工作。示例 输入(Json) [ "name": "Robin Hood", "manager": "",
"salary": 200: "Dimi Berbatov&quo
浏览 19提问于2020-04-01得票数 1
回答已采纳
Avro向后兼容性返回空记录。我发送一个由schema_ver1.avsc编码的记录和一个由schema_ver2.avsc编码的记录到kafka，然后，我通过ver2模式(Avro_json_schema_ver2)查询名为“avro_sink3预期记录|from_avro(value) | .queryName(&
浏览 4提问于2021-12-13得票数 0
我有一个NiFi流，它从CSV文件中读取文本数据，进行一些处理，然后将数据输出到JSON中的Kafka。处理步骤主要是执行重复数据删除。以下是当前流的架构：我正在考虑在读取数据后将其转换为Avro，然后进行处理。建议的流程为：
Read CSV files ==> Convert to A
浏览 17提问于2019-10-30得票数 0
回答已采纳
2回答
我在文件data.bin中有一些序列化的AVRO数据(混合了可打印字符和不可打印字符)，我通过Kafka控制台客户端将其发送给主题为topicname。制片人：
user@server$ cat data.bin --------------- binary data, serialized AVRO如您所见，数据的文本部分是正常的，但不可打印字符被转换为另一个不可打印的字符。有什么问题，卡夫卡的结构会导致这个问题吗？
浏览 1提问于2018-06-04得票数 2
" : "Data event indices", }, "namespace": "com.xxx.xxx.xxx"当我尝试用这个架构将json转换为avro时，我得到以下错误：
org.apache.avro.AvroTypeException: Expected start-union.
浏览 3提问于2020-02-04得票数 0
回答已采纳
我有一个大约10G的JSON文件。每一行都包含一个JSON文档。我想知道什么是最好的方法来把这个转换成阿夫罗。理想情况下，我希望每个文件保存几个文档(比如10M)。我认为Avro支持在同一个文件中包含多个文档。
浏览 13提问于2015-12-16得票数 0
回答已采纳
我正在尝试将输入的json数据转换为avro模式。使用confluents Avro序列化可以将Json模式转换为avro模式。但是，如何将JSON数据转换为Avro Schema呢？输入 { "age": "25",
} 预期的
浏览 20提问于2019-12-24得票数 1
1回答
Q1:假设我使用BigQuery加载工具加载Avro编码的数据。现在我需要将这些数据写入到不同的表中，仍然是Avro格式。我正在尝试测试不同的分区，以便测试表的性能。如何使用Beam将SchemaAndRecord写回BigQuery？在这种情况下，模式检测也能工作吗？Q2:从Avro schema type转换为Avro schema type时，似乎丢失了架构信息。例如，在BigQuery中，double和float Avro类型都转换为<
浏览 1提问于2018-06-08得票数 0
3回答
我想将从Kafka传入的JSON数据转换成一个dataframe。我使用的是结构化流和Scala 2.12
大多数人都添加了一个硬编码的模式，但是如果json可以有额外的字段，它需要每次更改代码库，这是很乏味的。编辑:找到了一种将json字符串转换为dataframe的方法，但是不能从流源中提取它，可以提取它吗？
浏览 5提问于2020-06-26得票数 0
回答已采纳
我有一个JSON字符串，我将从它生成一个InputStream object，如下所示，然后我将生成一个GenericRecord对象，因为我试图将JSON对象序列化为Avro。UTF-8 middle byte 0x2d at [Source: java.io.DataInputStream@562aee31; line: 1, column: 74]
下面是发生此异常的实际JSON为什么会发生在我上面的JSON字符串上呢？我只是想了解为什么这个异常发生在我上面的<e
浏览 0提问于2016-02-03得票数 0
回答已采纳
我想使用一个kafka连接jdbc接收器连接器与avro转换器。" : "http://myurl.com" ,key.converter.schemas.enable=false现在，当我启动连接器时，我得到这个错误据我所知，Struct是用于jso
浏览 4提问于2020-02-19得票数 1
我试图创建一个卡夫卡连接连接器，从一个AVRO主题到一个文件。水槽工作正常，我可以看到接收器文件正在增长，并读取数据。restored-exchange-rate-log", "value.converter": "io.confluent.connect.avro.AvroConvertervalue.converter.
浏览 1提问于2019-02-08得票数 1
6回答
我正在尝试将Json字符串转换为带有Avro Schema的通用Java对象。String schemaLines = "{\"type\":\"record\",\"name\":\,\"type\":[\"null\",\
浏览 28提问于2014-12-19得票数 19
回答已采纳
1回答
public class Event<T> // Some other properties
}
my组件的初始实现不使用Avro序列化程序或架构注册表。它使用Event<T>将Newtonsoft.Json序列化为JSON，并生成一个卡夫卡主题的字符串。这样做的好处是，有效载荷可以是任何对象。主题名称是对象的完全限定类名，因此保证主题是同构的。我现在正致力于将</em
浏览 1提问于2019-05-13得票数 7
我用avro库写了一个示例。它从模式User生成java类源代码record User。java.lang.ClassCastException: org.apache.avro.util.Utf8 cannot be cast to java.lang.String如何将org.apache.avro.util.Utf8转换为java String？
浏览 0提问于2019-09-08得票数 7
回答已采纳
我想发送一个JSON消息到一个带有avro-schema的kafka主题。请参阅此票证AVRO-1582。12345 } } }
} 可以将"typeA":12345转换为"typeA":{"int":12345}吗？JSON元素。
浏览 31提问于2019-05-14得票数 0
1回答
如何在apache NiFi中将JSON转换为Avro？以前的版本似乎支持ConvertJSONToAvro。在我看来，现在应该使用convertRecord处理器：
例如，使用面向记录的处理来使用JSON树读取器读取JSON并将其写入Avro。但是，在哪里/如何指定架构呢？StandardFlowFileRecord will route to failure: ${sch
浏览 1提问于2020-06-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
