例如，Avro水槽源可用于从Avro客户端接收Avro事件或从Avro接收器发送事件的流中的其他水槽代理。
为什么Flume源需要识别或理解消息的格式？它所做的就是将消息转发到其中一个通道。
浏览 10提问于2013-10-22得票数 1
我正在尝试使用PySpark 2.4.0阅读卡夫卡的avro消息。spark外部模块可以为读取avro文件提供此解决方案：df.select("name", "favorite_color").write.format("avro
浏览 2提问于2019-02-14得票数 7
回答已采纳
有没有办法在没有Python模式定义的情况下将JSON字符串转换为Avro？或者这是只有Java才能处理的事情？
浏览 1提问于2014-03-13得票数 8
回答已采纳
1回答
我有一堆AVRO文件，我使用GZip在外部压缩了这些文件。我试图在Ruby中阅读它们而不对它们进行解压缩，但无法使其工作。
浏览 2提问于2013-11-15得票数 0
回答已采纳
hadoop-2.7，来自https://hub.docker.com/r/gettyimages/spark/tags)集群运行作业时，我得到了以下错误： Caused by: org.apache.avro.SchemaParseException: Undefined name: "my_items" at org.apache.avro.S
浏览 42提问于2019-01-04得票数 1
回答已采纳
因此，我正在尝试读取通过HTTP POST发送到Event Hub的JSON文件，该事件中心捕获数据并将其转换为Azure Blob存储中的Avro文件格式，现在我想再次下载该文件，并使用Python
浏览 27提问于2021-03-31得票数 0
回答已采纳
我有一堆Avro文件，它们是通过Pig的AvroStorage自定义函数创建的。我想在Spark中加载这些文件，使用通用记录或Avro文件中的模式。到目前为止，我已经尝试过了：import org.apache.avro.mapreduce.AvroKeyInputFormat{GenericDatumReader, GenericRecord}
import org.apache.avro.specific.SpecificD
浏览 22提问于2014-05-30得票数 10
回答已采纳
1回答
我对Avro非常陌生，在网上浏览过一些例子。我所读过的大多数示例都是关于定义记录的，模式总是记录类型的。然而，现在我想做的是简单地序列化和反序列化一个字符串，尽管使用Avro。我不想定义任何周围的结构，如记录做什么。我不想要田园。简单地说，裸字符串序列化并反序列化为Avro。
浏览 5提问于2022-06-14得票数 1
我想使用一个kafka连接jdbc接收器连接器与avro转换器。这些是我的avro配置："key.converter.schema.registry.url" : "http://myurl.com" ,
"value.converter":"io.confluent.connect.a
浏览 4提问于2020-02-19得票数 1
我们有一个Avro格式的数据集，每个Avro文件中都有模式。我想在这些文件的基础上建立蜂窝表，创建外部表配置单元，存储为AVRO LOCATION‘hdfs:/ sampe_table /hive/；
但是每当我尝试它的时候Returning signal schema to indicate problem: Neither avro.schema.literal nor avro.schema.url specified
浏览 2提问于2018-03-26得票数 0
我得到了一个相当复杂的Avro模式(我不能修改)。= AvroUtil.jsonToGenericRecord(jsonData, avroSchema);Exception in thread "main" org.apache.avro.AvroTypeExceptionGot VALUE_STRING尝试模拟JSON数据几个小时，仍然没有成功。
浏览 3提问于2018-05-08得票数 6
回答已采纳
Avro上的依赖图| | | | +--- org.apache.avro:avro:1.7.7 ->| | | +--- org.apache.avro:avro:1.7.7 -> 1.9.1 (*)
| | | +--- org.apache.avro:avro:1.7.7 -> 1.9.1 (*
浏览 4提问于2020-07-28得票数 0
我使用汇合hdfs接收器连接器，我插入数据的avro格式。我添加了配置然而，它对我不起作用，创建的文件不是用快速压缩压缩的。
浏览 1提问于2018-10-09得票数 0
回答已采纳
我想将下面的JSON数据转换成avro格式，我使用下面的代码片段以avro格式编写JSON数据，但是收到了一个错误。如果有人能帮忙的话，那就太好了。from fastavro import writer, reader, schema
from rec_avro import to_rec_avro_destructive, from_rec_avro_destructive= (to_rec_avro_destructive(rec) for rec in getweatherdata
浏览 10提问于2020-08-06得票数 0
1回答
对于分区的Avro Hive表，在Avro模式中具有大写字符的字段名将被调回为null。我想知道是否有一些设置/解决方案我错过了，或者这只是一个错误与Hive上下文。'OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputForm
浏览 3提问于2016-03-20得票数 2
41,803 (lifecycleSupervisor 1-2) INFO -org.apache.flume.source.AvroSource.start(AvroSource.java:142)启动Avro42,072 (lifecycleSupervisor-1-1)警告- org.apache.flume.sink.AvroSink.start(AvroSink.java:244)无法使用主机名创建avroThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:744)，由:
浏览 2提问于2014-08-09得票数 0
我在Kafka中有几个主题，正在将AVRO文件写入S3存储桶中，我想使用AWS Athena在存储桶上执行一些查询。我试图从雅典娜控制台创建一个表，但它不显示对AVRO文件的支持。 你有什么办法让它工作吗？
浏览 16提问于2019-06-26得票数 2
课程提供了一个AVRO文件，并要求我们将数据插入一个变体列表中。中的列数不匹配，请使用文件格式选项error_on_column_count_mismatch=false忽略此错误文件“物联网文件/物联网文件_样例_输出. an”，第1行，字符827行1，列"IOT_AVRO_DATA以下是课程的说明：从@GOOGLE_BUCKET_SFHOL/iot_files/iot_files_sample_output.avro</
浏览 13提问于2022-02-17得票数 0
如何编写kafka avro序列化器和解析器(即使用io.confluent.kafka.serializers.KafkaAvroDeserializer) from("kafka:localhostkafka avro confluent序列化程序的依赖项是什么 请询问您是否需要任何详细信息 提前感谢
浏览 26提问于2019-06-07得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
