如何在ANT build中生成Avro .avsc文件
在ANT build中生成Avro .avsc文件可以通过以下步骤完成：
- 确保已经安装好Java和Ant，并设置好相应的环境变量。
- 创建一个包含Avro模式定义的XML文件。在该文件中，定义Avro模式的字段和其对应的数据类型。例如，可以创建一个名为"example.avsc.xml"的文件，内容如下：
<schema name="example">
<type name="record">
<name>Example</name>
<fields>
<field name="field1" type="string" />
<field name="field2" type="int" />
</fields>
</type>
</schema>- 创建一个ANT构建文件（例如"build.xml"），并添加以下内容：
<?xml version="1.0"?>
<project name="avro-build" default="generate-avro">
<property name="avro-tools.jar" value="path/to/avro-tools.jar" />
<property name="avsc.file" value="path/to/example.avsc.xml" />
<property name="output.dir" value="path/to/output/directory" />
<target name="generate-avro">
<java classname="org.apache.avro.tool.Main" fork="true">
<arg value="idl" />
<arg value="-string" />
<arg value="${avsc.file}" />
<arg value="${output.dir}" />
</java>
</target>
</project>请注意，在上述代码中，需要将"avro-tools.jar"的路径替换为实际的Avro工具包路径，并将"avsc.file"和"output.dir"的路径替换为实际的Avro模式定义文件路径和输出目录路径。
- 打开命令提示符或终端，进入包含ANT构建文件的目录。
- 运行以下命令执行ANT构建脚本：
ant generate-avro执行成功后，将在指定的输出目录中生成一个名为"example.avsc"的Avro .avsc文件。
Avro .avsc文件是Avro数据模式的定义文件，用于指定数据的结构和类型。它可以用于序列化和反序列化数据，以及在Avro框架中进行数据交换和数据处理。
这里推荐使用腾讯云的云原生产品Tencent Serverless Framework（TSF）。TSF提供了一种基于容器和微服务的轻量级、弹性伸缩的架构，可用于构建、部署和管理云原生应用。通过使用TSF，可以将Avro .avsc文件和相关的服务和资源进行集成和管理。详情请参考腾讯云TSF产品介绍：Tencent Serverless Framework (TSF)。
相关·内容
我需要生成文件从.avsc文件(avro)在蚂蚁构建。我不确定我应该使用什么插件。我尝试使用xjc.XJC2Task生成文件，但似乎不起作用。有人能建议我应该使用什么插件/类来从ANT中的avro模式生成文件吗？ 尝试使用xjc： <target name="generate" description="generate">
<mkdir dir="generated" />
<taskdef name="xjc" classname="com.sun
浏览 40提问于2020-12-16得票数 0
3回答
在Java中，如何先从avro文件中提取模式，然后再从其中提取数据？除了在java中，与问题相同。
我见过如何从avsc文件而不是avro文件获取模式的示例。我应该朝哪个方向看？
Schema schema = new Schema.Parser().parse(
new File("/home/Hadoop/Avro/schema/emp.avsc")
);
浏览 0提问于2017-08-04得票数 25
回答已采纳
我在一个名为"some.package.SourceMetadata"的json文件中定义了一个名为commonSourceMetadata.avsc的Avro类型。
{
"type": "record",
"name": "SourceMetadata",
"namespace": "some.package",
"fields": [..]
}
我试图在另一个avsc文件中使用它，使用在imports中找到的Apache Avro 1.7.3关键字
浏览 3提问于2020-06-23得票数 3
1回答
我的avsc文件是 {"type" : "map",
"name" : "valueMap",
"namespace" : "example.avro",
"values": "long"
} 但是在我使用mvn compile之后，没有错误报告，也没有生成特定的类。当avsc模式是关于enum或record时，avro maven插件工作得很好。如何为映射模式生成相关的类？
浏览 14提问于2021-04-16得票数 0
回答已采纳
我希望找到一种通过Hive获取以下AVSC文件内容的方法，并将嵌套模式"RENTALRECORDTYPE“外部化，以实现模式重用。
{
"type": "record",
"name": "EMPLOYEE",
"namespace": "",
"doc": "EMPLOYEE is a person that works here",
"fields": [
{
浏览 4提问于2017-12-15得票数 1
我是Maven的新手，我一直在学习教程和web，以了解如何从模式文件.avsc构建一个.avsc。基于apache.maven.org站点上的文档。我必须添加以下内容
<dependency>
<groupId>org.apache.avro</groupId>
<artifactId>avro</artifactId>
<version>1.7.5</version>
</dependency>
<plugin>
<groupId>org.apache.a
浏览 3提问于2013-12-24得票数 2
1回答
有人能帮我在react中反序列化avro文件吗？我尝试使用avsc npm包，但现在被错误卡住了。 const avro = require('avsc')
......
avro.createFileDecoder('./abc.avro').on('data', (record) => { console.log(record) })
...... 但它显示了一个错误。 TypeError: avro.createFileDecoder is not a function 如何解决这个问题？
浏览 51提问于2021-11-07得票数 1
回答已采纳
import KafkaDataType;
...
...
final Serde<KafkaDataType> eventSchema = new SpecificAvroSerde<>();
...
...
StreamsBuilder builder = new StreamsBuilder();
KStream<String, KafkaDataType> eventStream = builder.stream(STREAM_TOPIC);
我的KafkaDataType是一个由关联的.avsc文件自动生成的avro模式。我的理解是KafkaDat
浏览 5提问于2021-11-03得票数 0
回答已采纳
1回答
我们在一个大型Java项目中使用Avro作为序列化引擎。
我们使用maven插件从Avro模式自动生成类(我们只使用avsc，不使用IDL)。所有的工作都很好，直到我们来跨包参考。
插件具有使用import标记导入模式文件的选项，它在包中工作得很好，但是当我们试图引用包之外的模式时，它不会对它进行细化。
这是插件设置：
<build>
<plugins>
<plugin>
<groupId>org.apache.avro</groupId>
<artifactId>avro-maven-plugin&l
浏览 2提问于2015-01-01得票数 3
如何从avro头创建".avsc“文件？
第一行内容是该avro的avsc文件吗？或者avsc内容应该从：{“type”：“记录”upto "}avro开始吗？
我尝试了上面提到的两个步骤，但无法生成预期的avsc文件？
浏览 1提问于2018-04-26得票数 6
回答已采纳
我创建了一个外部配置单元表，该表指向一个包含多个avro文件的位置。create语句运行时没有任何问题，它创建了预期的列。但是，当我尝试运行查询时，该表没有数据。我试着用几种不同的方法创建这个表，但都不能正常工作。我还验证了该目录是否包含avro文件。
CREATE EXTERNAL TABLE table_name
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'
STORED as INPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroCo
浏览 0提问于2016-12-03得票数 0
我有一个AVRO模式，目前在单个avsc文件，如下所示。现在我想将地址记录移动到一个不同的公共avsc文件中，该文件应该从许多其他avsc文件中引用。因此，客户和地址将是单独的avsc文件。怎样才能将它们分开，并有客户的avsc文件引用地址avsc文件。另外，如何使用python处理这两个文件。我目前正在使用python3中的fast avro来处理单个avsc文件，但可以使用python3或pyspark中的任何其他实用程序。 文件名- customer_details.avsc [
{
"type": "record",
"name
浏览 48提问于2020-08-17得票数 2
回答已采纳
1回答
我正在创建一个使用avro serde存储twitter数据的hive表。
这是密码-
create table tweets
row format serde
'org.apache.hadoop.hive.serde2.avro.AvroSerde'
stored as inputformat
'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
outputformat
'org.apache.hadoop.hive.ql.io.av
浏览 3提问于2017-01-14得票数 0
2回答
蜂巢执行错误
、、
我对“阿夫罗”和“蜂巢”很陌生，当我学到它的时候，我感到有些困惑。使用
tblproperties('avro.schema.url'='somewhereinHDFS/categories.avsc')。
如果我运行以下create命令
create table categories (id Int , dep_Id Int , name String)
stored as avrofile
tblproperties('avro.schema.url'=
'hdfs://quickstart.cloudera/user/clou
浏览 2提问于2016-09-04得票数 0
我有一个主要的avro模式和其他小的avro模式。主avro模式引用其他小型avro模式，如下所示：
Item.avsc
{
"namespace":"com.example.common",
"name":"Item",
"type":"record",
"fields":[
{
"name":"ItemId",
"type":"c
浏览 0提问于2021-08-23得票数 1
回答已采纳
我正在将Spring应用程序迁移到Quarkus。它是一个应用程序，发布与Avro连载的Kafka消息。
以下是几种模式：
id.avsc
{
"namespace" : "xxx",
"type": "record",
"name": "Id",
"fields" : [
{"name": "prefix", "type"
浏览 0提问于2021-12-21得票数 0
我有两个类型"Company“和"User”，这两个类型都包含一个公共类型"Address"，并且正在尝试生成cpp头文件。我尝试了多种方法，但最终在两个不同的头文件中重复定义了"Address“结构。avrogencpp是否可以为每种类型生成一个头文件，而不是将所有内容都放在一个文件中？
这就是我所能做到的：
1)创建sample.avdl
@namespace("test")
protocol Simple {
record Address {
string street;
string state;
st
浏览 20提问于2020-02-22得票数 1
我正在尝试使用avro将avro文件( )转换为avro文件(example.avsc)。我下载了avro-tools 1.7.6和1.6.3
example.avdl
/**
* An example protocol in Avro IDL
*/
@namespace("org.apache.avro.test")
protocol Simple {
@aliases(["org.foo.KindOf"])
enum Kind {
FOO,
BAR, // the bar enum value
BAZ
浏览 0提问于2014-06-17得票数 8
我在maven项目中有2个avro schema Parent.avsc和Child.avsc。我想从avsc文件生成Java类。我试着用mvn clean install来构建这个项目，但是得到了异常。能帮我找出哪里不对劲吗？ 父级 {
"type" : "record",
"name" : "Parent",
"namespace" : "com.namespace",
"fields" : [
{"name" : "child&
浏览 19提问于2020-10-10得票数 0
我已经访问了Apache集群，并获得了一个描述Apache消息序列化格式的文件。我正在用python编写一个小的测试使用者，在试图解析模式时，我得到了以下错误：
SchemaParseException: Type property "{u'items': u'com.myapp.avromsg.common.MilestoneField', u'type': u'array'}" not a valid Avro schema: Items schema (com.myapp.avromsg.common.Mil
浏览 0提问于2018-03-23得票数 0
回答已采纳
1回答
嘿，StackOverflow社区
我有一个关于嵌套Avro模式的问题，以及如何将它们与Kafka一起使用时存储在模式注册表中的最佳实践。
TL;DR &问题：在Avro模式注册中心中存储复杂嵌套类型的最佳实践是什么？
( a)所有子类型作为一个单独的主题(如下所示)
b)将嵌套的超级类型作为单个主体进行，包含所有子类型
c)完全不同吗？
一个小上下文：我们的模式由一个主类型组成，它有几个复杂的子类型(其中一些子类型本身有子类型)。为了保持整洁，我们将每个复杂类型移到自己的*.avsc文件中。这给我们留下了10个*.avsc文件。我们产生的所有消息都有主类型，子类型
浏览 2提问于2021-11-18得票数 0
回答已采纳
1回答
我正在做一个项目，每天我都需要处理大量的AVRO文件。要从AVRO提取数据，我使用sparkSQL。为了实现这一点，我首先需要printSchema，然后我需要选择字段来查看数据。我想让这个过程自动化。给定任何输入，AVRO，我想编写一个脚本，它将自动生成SparkSQL查询(考虑到avsc文件中的结构和数组)。我可以用Java或Python编写脚本。
-- 样本输入AVRO
root
|-- identifier: struct (nullable = true)
| |-- domain: string (nullable = true)
| |-- id: string (n
浏览 1提问于2020-07-12得票数 1
我将mysql中的数据以avroformat格式导入hdfs。我将.avsc文件移动到hdfs，并使用.avsc文件创建配置单元表。请参考下表：
.AVSC文件：-rw-r--r-- 3 jonnavithulasivakrishna hdfs 1041 2017-09-13 00:05 hdfs://nn01.itversity.com:8020/user/jonnavithulasivakrishna/products.avsc
已创建的表：
hive (siv_sqoop_import)> CREATE EXTERNAL TABLE Products_1
浏览 2提问于2017-09-13得票数 0
1回答
我有两个模式文件
First是position.avsc
{
"type":"enum", "name": "Position", "namespace": "avro.examples.baseball",
"symbols": ["P", "C", "B1", "B2", "B3", "SS", "LF", "CF", "RF",
浏览 1提问于2015-10-29得票数 4
我有一个Avro模式(avsc文件)和以Avro格式发布在kafka主题中的数据，我需要将其转换为平面SQL表。
浏览 19提问于2021-05-12得票数 0
从中的AvroProducer示例可以看出，键/值模式是从文件加载的。也就是说，从下面的代码中：
from confluent_kafka import avro
from confluent_kafka.avro import AvroProducer
value_schema = avro.load('ValueSchema.avsc')
key_schema = avro.load('KeySchema.avsc')
value = {"name": "Value"}
key = {"name":
浏览 1提问于2017-04-28得票数 6
我有两个模式，
a.avsc
{
"namespace": "my.ns",
"type": "record",
"name": "A",
"fields": [
{
"name": "b",
"type": "my.ns.B"
}
]
}
b.avsc
{
"namespace": "my.ns",
"type&
浏览 8提问于2021-06-02得票数 1
回答已采纳
下面是使用avro-js模块验证nodejs中avro模式的json的代码片段。
//import module
var avro = require('avro-js');
// path to avro schema
var type2 = avro.parse('./Person.avsc');
// sample payload
var person = {name: 'Bob', address: {city: 'Cambridge', zip: '02139'}};
// validate comman
浏览 2提问于2019-11-14得票数 3
1回答
我必须从UML生成Avro模式。我们使用Enterprise Architect来建模我们的类。
有人能帮助从企业架构师生成Avro文件(*.avsc)吗？
浏览 2提问于2014-06-11得票数 0
回答已采纳
我正在尝试为npm库创建一个外观。当我使用sbt fastOptJS::webpack编译并打开.html文件时，我从文件treepad-fastopt-bundle.js中的$g["Object"]["freeze"]($env);行获得了Uncaught TypeError: Cannot read property 'freeze' of undefined。我在任何地方都不使用Object.freeze it。
这是外观代码：
import buffer.Buffer
import scala.scalajs.js
import scal
浏览 9提问于2017-02-04得票数 1
回答已采纳
2回答
我需要将JSON消息转换成Avro，这样我才能将它发送给Kafka。
我有示例JSON请求，还有Avro的avsc文件中的模式。
你知道我怎么能做到吗？
谢谢
浏览 16提问于2022-02-06得票数 0
4回答
我有一套基于Avro的蜂窝表，我需要从它们中读取数据。由于Spark使用hive从HDFS读取数据，因此它比直接读取HDFS慢得多。因此，我使用数据砖Spark从底层HDFS dir读取Avro文件。
一切正常，除非桌子是空的。我已经成功地使用以下命令从hive表的.avsc文件中获得了模式，但是我得到了一个错误“NoAvroFilefind”
val schemaFile = FileSystem.get(sc.hadoopConfiguration).open(new Path("hdfs://myfile.avsc"));
val schema = new Schema
浏览 5提问于2018-05-30得票数 4
2回答
我的java项目中有资源在“资源”文件夹下。当我使用以下方法2加载资源时，它正在工作。但是，当我在通配符9.x中部署war时，它说找不到file.avsc文件。它给出了类路径as1；如何在jboss中加载资源文件？
1
java.io.FileNotFoundException: /content/ratha.war/WEB-INF/lib/core-0.0.1-SNAPSHOT.jar/avro_schemas/file.avsc (没有这样的文件或目录)
2
ClassLoader classLoader = getClass().getClassLoader();
ClassLo
浏览 0提问于2016-04-26得票数 2
回答已采纳
1回答
我有avro数据，它有一个列时间戳列，现在我试图在avro文件的基础上创建外部单元表，.Data保存在avro中，我希望avro逻辑类型在查询hive表时处理回时间戳的转换。但这并不是简单地返回长期价值。我怎样才能像预期的那样工作呢？
PS :我使用的是spark 2.3和databricks com.databrosight-avro_2.11
<dependency>
<groupId>com.databricks</groupId>
<artifactId>spark-avro_2.11</ar
浏览 2提问于2020-05-29得票数 3
回答已采纳
1回答
我试图在库中使用Scala宏注释。
我在src/main/resources/avsc/FriendRequestAcceptedGson.avsc有一个模式文件
在我的代码中，我试图将其引用如下：
@AvroTypeProvider("/avsc/FriendRequestAcceptedGson.avsc")
@AvroRecord
case class FriendRequestAcceptedGson()
这是我得到的错误：
[error] /home/lee/Code/bigdata-friends/java/etl/src/main/scala/com/mxi
浏览 3提问于2014-10-28得票数 0
回答已采纳
我有一个文件Pojo.avsc，它包含以下声明：
{
"namespace": "io.fama.pubsub.schema",
"type": "record",
"name": "Pojo",
"fields": [
{
"name": "field",
"type": "string"
}
]
}
我有一个文件PojoCollection.avsc，它只包
浏览 1提问于2018-03-13得票数 1
回答已采纳
我正在使用 sbt插件为Avro .avsc文件生成Scala案例类。如何在Gradle项目中使用相同的插件？
浏览 1提问于2018-09-02得票数 2
回答已采纳
1回答
我有一个avro文件，文件名为test.avsc，模式为：
{
"namespace": "test",
"type": "record",
"name": "test.schema",
"fields": [
{ "name": "device", "type": ["null", "string"] , "default" : null }
浏览 19提问于2021-03-16得票数 0
回答已采纳
我正在使用apache avro maven插件，目的是从avsc生成java。我在m1 mac上运行这个程序(尽管我在网上没有看到任何关于这是一个问题的东西)。 问题似乎是我的配置没有被提取。代码生成似乎可以使用默认值。例如 它正在寻找中的avsc。 Failed to execute goal org.apache.avro:avro-maven-plugin:1.10.2:schema (default-cli) on project falc-proxy: neither sourceDirectory: /Users/pdhulipala/falc-proxy/src/main/a
浏览 161提问于2021-07-24得票数 0
我试图在Scala项目中使用来从Avro模式生成Scala类。
以下是项目结构：
multi-tenant/
build.sbt
project/
plugins.sbt
src/
main/
resources/
avro/
Measurement.avsc
scala/
com.mycom.multitenant/
Producer
下面是bui
浏览 16提问于2022-04-07得票数 0
将avro avdl文件(idl文件)转换为avro文件(模式文件)是很常见的。我想在另一个方向转换，从avsc到avdl，因为我有一些手动创建的avsc文件，并希望看到他们在更简单，更漂亮的avdl格式。
浏览 21提问于2019-05-23得票数 7
Avro文件: user.avsc
{"namespace": "example.avro",
"type": "record",
"name": "User",
"fields": [
{"name": "TransportProtocol", "type": "string"}
]
}
粘贴起作用的代码片段：-
import json
from avro import schema, datafil
浏览 1提问于2016-08-17得票数 1
回答已采纳
使用Apache的avro-tools包，我已经从我的.avsc类生成了一个.avsc文件。我将ReflectData指向我的主类，并使用它输出模式。这个问题有很多方面，但从根本上说，我的问题是无法创建一个Avro文件，即使模式和数据是由同一个类生成的。
Java中的代码是：Schema x = ReflectData.AllowNull.get().getSchema(MessageEnvelope.class);
因此，我将上面的输出粘贴到一个文件中，并称之为msgEnvelope.avsc。
发生错误的架构文件的行是：
{
"type": "record
浏览 0提问于2017-02-27得票数 2
我在卡夫卡的制片方工作，在主题上宣传信息。我用的是confluent-kafka的制作人。
下面是我的架构.avsc文件。
Keys.avsc
{
"namespace": "io.codebrews.schema.test",
"type": "record",
"name": "Keys",
"fields": [
{
"name": "name",
浏览 4提问于2021-09-23得票数 0
Avro向后兼容性返回空记录。
我发送一个由schema_ver1.avsc编码的记录和一个由schema_ver2.avsc编码的记录到kafka，然后，我通过ver2模式(Avro_json_schema_ver2)查询名为“avro_sink3解码”的火花放电流内存接收器。
我希望有这样的记录。
预期记录
+-----------------------------------+
|from_avro(value) |
+-----------------------------------+
|{ver1_yuki_schema, login, 4,
浏览 4提问于2021-12-13得票数 0
1回答
我遇到了一个问题，我已经更新了avsc模式文件中的名称空间。因为我们使用的是在Java中创建的通用处理器来解析XML到avro，并且使用的是avsc文件。
我们已经分离了接口并创建了两个不同的名称空间，现在有了两个相同的avsc模式，只是名称空间不同。
因为我们有使用旧名称空间生成的数据，所以我无法使用新名称空间生成的新数据来查询这些数据。
下面是我的模式示例：
旧架构- "type" : "record", "name" : "Message", "namespace" : "com.myfirs
浏览 6提问于2017-08-05得票数 3
回答已采纳
我有一个JSON对象，其中一部分如下所示：
{
"bounding_box": {
"coordinates": [
[
[
-74.026675,
40.683935
],
[
-74.026675,
40.877483
]
]
],
"type": "Polygon"
}
}
在这里，将坐标作为对象的数组发送。现在，对于这个JSO
浏览 2提问于2019-01-14得票数 2
回答已采纳
我有一个Avro模式文件customer.avsc。我已经使用builder成功创建了Avro对象，并且我可以读取avro对象。我想知道如何将customer avro对象转换为Byte并将其存储在数据库中。非常感谢! public static void main(String[] args) {
// we can now build a customer in a "safe" way
Customer.Builder customerBuilder = Customer.newBuilder();
custom
浏览 52提问于2021-02-10得票数 0
1回答
想象一下有不同的应用程序:生产者和消费者。
生产者守则：
import os
from confluent_kafka import avro
from confluent_kafka.avro import AvroProducer
avsc_dir = os.path.dirname(os.path.realpath(__file__))
value_schema = avro.load(os.path.join(avsc_dir, "basic_schema.avsc"))
config = {'bootstrap.servers': 'lo
浏览 2提问于2021-03-25得票数 0
1回答
我试图编写一个非常简单的avro模式(因为我只是指出我当前的问题)，以便根据以json格式存储的数据编写avro数据文件。诀窍是，一个字段是可选的，而avrotools中的一个或者我做得不对。
我的目标不是写我自己的连载，最终的目标将是把这个放在水槽里，我还在早期阶段。
数据(工作)，在一个名为so.log的文件中：
{
"valid": {"boolean":true}
, "source": {"bytes":"live"}
}
模式，在一个名为so.avsc的文件中：
{
"type"
浏览 2提问于2014-04-08得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
