如何在ANT build中生成Avro .avsc文件

文章/答案/技术大牛

发布

1回答

ant、avro、avsc

我需要生成文件从.avsc文件(avro)在蚂蚁构建。我不确定我应该使用什么插件。我尝试使用xjc.XJC2Task生成文件，但似乎不起作用。有人能建议我应该使用什么插件/类来从ANT中的avro模式生成文件吗？unnecessary compilation [xjc] Compiling file:/D:/2019/My

浏览 40提问于2020-12-16得票数 0

1回答

由于生成的变量缺少美元符号，Apache编译失败

java、avro、velocity、gradle-plugin

org.betterplugin.avro插件似乎最接近我，因为它生成Java和协议文件。但是，其中一个生成的Java文件有错误，原因是生成的变量之一缺少美元符号。build.gradle id "org.betterplugin.avro" version "0.19.2-SNAPSHOT" // Error: Unable= file("<e

浏览 29提问于2022-06-17得票数 1

1回答

卡夫卡有嵌套Avro类型的最佳实践吗？

gradle、apache-kafka、avro、confluent-schema-registry

嘿，StackOverflow社区我有一个关于嵌套Avro模式的问题，以及如何将它们与Kafka一起使用时存储在模式注册表中的最佳实践。为了保持整洁，我们将每个复杂类型移到自己的*.avsc文件中。这给我们留下了10个*.avsc文件。我们产生的所有消息都有主类型，子类型从不单独发送。为了上传/注册模式，我们使用了一个。为了使其有效，我们需要将每个子类型完全指定为一个单独的主题，然后定义它们之间的引用，如(在build.g

浏览 2提问于2021-11-18得票数 0

回答已采纳

1回答

使用来自不同包的Avro模式

java、maven、avro

我们在一个大型Java项目中使用Avro作为序列化引擎。<build> <plugin> <groupId>org.apache.<

浏览 2提问于2015-01-01得票数 3

1回答

当avro架构由另一个架构作为可选字段组成时的反序列化问题

apache-kafka、avro

我们已经定义了一个avro schema，并使用代码生成器在Java and .cs文件C#中生成.java文件。下面是我们用来从avro模式生成java类的代码生成器。https://plugins.gradle.org/plugin/com.commercehub.gradle.plugin.avro 和using AvroConverter.exe (来自Confluen)需要从.<em

浏览 50提问于2020-11-03得票数 0

回答已采纳

1回答

使用python (fastavro)解析多个相互引用的AVRO (avsc文件)

python、avro、avsc、fastavro

我有一个AVRO模式，目前在单个avsc文件，如下所示。现在我想将地址记录移动到一个不同的公共avsc文件中，该文件应该从许多其他avsc文件中引用。因此，客户和地址将是单独的avsc文件。怎样才能将它们分开，并有客户的avsc文件引用地址avsc文件。另外，如何使用python处理这两个文件

浏览 48提问于2020-08-17得票数 2

回答已采纳

2回答

sbt Avrohugger插件在gradle中的应用

scala、gradle、avro、kafka-streams-scala

我正在使用 sbt插件为Avro .avsc文件生成Scala案例类。如何在Gradle项目中使用相同的插件？

浏览 1提问于2018-09-02得票数 2

回答已采纳

1回答

在另一个Avro模式中引用或导入Avro模式

python、avro

主avro模式引用其他小型avro模式，如下所示：{ "name":"Item",import

浏览 0提问于2021-08-23得票数 1

回答已采纳

1回答

如何在另一种Avro类型中使用Avro类型，而无需再次定义它？

avro、avro-tools

我在一个名为"some.package.SourceMetadata"的json文件中定义了一个名为commonSourceMetadata.avsc的Avro类型。文件中使用它，使用在imports中找到的Apache Avro 1.7.3关键字。"imports": ["commonSourceMetadata.avsc"], { &quo

浏览 3提问于2020-06-23得票数 3

1回答

无法从avro架构文件生成源代码

maven、avro

我遇到的问题是:我无法在Eclipse中使用maven从avro schema生成源代码(安装了M2E的霓虹灯版本)。当我尝试"mvn clean generate-sources“或"mvn clean compile”时，mvn结果是成功的，但在目标目录中没有生成源代码。例如，我将两个avsc文件放在${project.basedir}\src\main\avro\ user.avsc文件中

浏览 0提问于2018-02-19得票数 1

1回答

Avro错误:地图字段上的“未知联合分支”

java、json、avro

使用Apache的avro-tools包，我已经从我的.avsc类生成了一个.avsc文件。我将ReflectData指向我的主类，并使用它输出模式。这个问题有很多方面，但从根本上说，我的问题是无法创建一个Avro文件，即使模式和数据是由同一个类生成的。Java中的代码是：Schema x = ReflectData.AllowNull.get().getSchema(MessageEnvelope.class); 因此，我将上面的输

浏览 0提问于2017-02-27得票数 2

1回答

基于文件结构的蜂箱表创建

hadoop、hive

我有一个疑问，在蜂箱中是否有任何方法在装载期间创建表到蜂窝仓库或外部表。而不是如何将这些文件加载到hive表中。因此，简而言之，如何在不知道HDFS的架构结构的情况下将文件从HDFS加载到HIVE Table。谢谢

浏览 1提问于2018-07-07得票数 2

回答已采纳

2回答

如何使用Avro序列化程序和模式注册表向Kafka发送消息

java、apache-kafka、avro、confluent-schema-registry

我试图用Avro序列化程序和模式注册表向Kafka发送一个对象。 Properties props = new Properties(); producer.send(record);原因: j

浏览 6提问于2017-10-31得票数 1

3回答

无法使用Maven从.avro编译和创建.avsc文件

maven、avro

我是Maven的新手，我一直在学习教程和web，以了解如何从模式文件.avsc构建一个.avsc。基于apache.maven.org站点上的文档。configuration> <target>1.6</target></plugin> 我在我的POM.xml文件中添加了同样的内容我有2个模式

浏览 3提问于2013-12-24得票数 2

6回答

是否可以将Apache Avro架构拆分到多个文件中？

avro

record", "fields": [ ] ]这可以很好地工作，但假设我想将模式拆分为两个文件name": "bar", "type": "Bar"}} "type": "record", "name": "Bar&qu

浏览 2提问于2014-02-04得票数 31

1回答

蜂巢导入与导入AVRO格式不兼容。

import、sqoop

蜂巢导入与导入到AVRO格式不兼容。

浏览 0提问于2018-02-23得票数 1

1回答

avro-将avdl转换为avsc的工具不能生成正确的avsc。

java、avro

我正在尝试使用avro将avro文件( )转换为avro文件(example.avsc)。我下载了avro-tools 1.7.6和1.6.3 * An example protocol in Avro IDL@namespace(int arg2); void `error`() throws TestE

浏览 0提问于2014-06-17得票数 8

0回答

如何在eclipse中编译avro模式？

eclipse、maven、avro

我正在测试使用Avro转换一些文件，我已经按照的建议添加了依赖项。<dependency> <artifactId>avro</artifactId></dependency> 以及Avro Maven插件(用于执行代码生成</em

浏览 0提问于2016-07-06得票数 4

1回答

从AVSC创建Hive表，该表包含对以前定义的模式作为类型的引用

hadoop、hive、avro、avsc

我希望找到一种通过Hive获取以下AVSC文件内容的方法，并将嵌套模式"RENTALRECORDTYPE“外部化，以实现模式重用。('avro.schema.url'='/user/dtom/store/schema/employee.avsc'); 但是，我希望能够引用现有模式，而不是重复多个模式中的记录定义。例如，将生成两个AVSC文件，而不是单个

浏览 4提问于2017-12-15得票数 1

2回答

将avro文件推送给Kafka

apache-kafka、avro

我有一个现有的avro文件，我想把文件数据放入kafka，但是它不起作用谢谢

浏览 0提问于2018-08-03得票数 4

点击加载更多