1回答
我使用的是Nifi 0.4.1版本。正在编写自定义代码以将CSV转换为avro格式。我已经创建了类文件，并能够生成nar文件。将nar文件放入lib目录并重新启动nifi服务器。类文件没有任何错误或警告。任何帮助都很感激..。
谢谢,
浏览 4提问于2016-02-25得票数 3
1回答
我有一个疑问，在蜂箱中是否有任何方法在装载期间创建表到蜂窝仓库或外部表。而不是如何将这些文件加载到hive表中。因此，简而言之，如何在不知道HDFS的架构结构的情况下将文件从HDFS加载到HIVE Table。谢谢
浏览 1提问于2018-07-07得票数 2
回答已采纳
有时我需要使用ConvertRecord将csv文件转换为json文件。所以我必须在ConvertRecord中设置AvroSchemaRegistry。有没有处理器可以帮我生成Avro schema (csv文件有很多列)，这样我就可以把它放到AvroSchemaRegistry中。
浏览 18提问于2021-03-11得票数 0
我想通过CSVRecordReader将包含时间戳的以下CSV内容通过AvroRecordSetWriter转换为AvroRecord1551784149996000,1我使用以下Avro模式： "name": "TestRecord", "fields": [ "name": "timestam
浏览 1提问于2019-03-06得票数 1
我有一个csv文件，有10个字段。我需要查找hbase以获得对应于csv字段之一的值。生成的hbase字段应该附加到csv文件中。使用Nifi，我构建了以下流程。GenerateFlowFile (创建CSV记录)->UpdateRecord(配置avro模式名称以读取传入csv文件)-> ConvertRecord (配置csv阅读
浏览 0提问于2018-10-10得票数 0
1回答
我使用的是Nifi 0.4.1版本。我编写自定义代码来转换CSV到avro格式。我已经创建了类文件(.java文件)并能够生成nar文件。将新创建的nar文件放入lib目录并重新启动nifi服务器。类文件没有任何错误或警告。
当我打开浏览器并输入localhost:8080/nifi时，浏览器中出现空白页面。此外，命令提示符正在从bin目录中退出。当检查nifi<
浏览 2提问于2016-03-07得票数 1
2回答
我正在尝试将包含JSON的NiFi流文件转换为AVRO。目前我使用的是转换处理器。AVRO输出模式： "type" : "record", "namespace" : "com.example",
浏览 1提问于2019-10-15得票数 0
回答已采纳
这个问题与Avro版本1.8.1有关。我们的AVRO模式中有以下字段："type" : ["bytes", "null"], "precision": 18, 如您所见，该字段的logicalType已定义
浏览 0提问于2017-03-28得票数 6
这与Apache Nifi相关。 我有一个固定的模式，我需要使用它。AVSC文件(架构)(仅示例)： {"name": "person","type": "record","fields": [{"name": "address","type": {"type" :: "streetaddress", "type": &
浏览 21提问于2019-02-28得票数 0
我有一个NiFi流，它从CSV文件中读取文本数据，进行一些处理，然后将数据输出到JSON中的Kafka。处理步骤主要是执行重复数据删除。以下是当前流的架构：我正在考虑在读取数据后将其转换为Avro，然后进行处理。建议的流程为：
Read CSV fi
浏览 17提问于2019-10-30得票数 0
回答已采纳
我正在使用Apache NiFi从数据库表中提取数据，并使用ConvertRecord使用AvroReader和CSVRecordSetWriter将获取的记录从avro更改为CSV文件。但是，当ExecuteSQL处理器输出包含0条记录的FlowFile时( FlowFile仍然包含元数据/avro模式)- ConvertRecord给我一个0字节的FlowFile输出。我在CSVRecordSetWriter服务中的设置被设置为输出标头。
浏览 0提问于2018-09-13得票数 0
回答已采纳
如果我有一个模式字符串可以提供给控制台使用者和生产者，那么是否可以使用Avro控制台使用者将Avro编码的消息保存到文件中，并从该文件中读取来写入使用Avro控制台生成器的另一个主题？
浏览 2提问于2021-11-02得票数 1
回答已采纳
1回答
正在尝试将csv制表符分隔的文件转换为CSV文件为UTF-16的JSON。在NiFi中使用SplitRecord处理器。处理器运行时没有任何错误，但转换为JSON的数据值如下所示我应该提一下，这是avro模式中的UTF这同样适用于UTF-8文件</e
浏览 3提问于2018-01-30得票数 1
1回答
我正在尝试将csv数据摄取到Hive数据库中。为此目的，listFile --> FetchFile --> ConvertCSVToAvro --> ConvertAvroToOrc --> PutHDFS兽人的数据不能直接加载到蜂巢？
如果是，我们必须手动创建Hive表还是它自动创建？
浏览 1提问于2019-05-16得票数 1
我已经开始和NiFi合作了。我正在开发一个用例将数据加载到Hive中。我得到一个CSV文件，然后使用SplitText将传入的流文件拆分为多个流文件(按记录拆分记录)。然后使用ConvertToAvro将拆分的CSV文件转换为AVRO文件。之后，我将AVRO文件放入HDFS中的一个目录中，并使用ReplaceText + PutHiveQL处理器
浏览 1提问于2017-02-07得票数 1
1回答
我从MySQL表中导入数据(仅针对选定的列)，并将其放入HDFS中。一旦完成，我想要在Hive中创建一个表。为此，我有一个schema.sql文件，其中包含整个表的CREATE语句，我只想为导入的列生成新的CREATE语句。
还是有更好的方法在导入的数据上创建表？
浏览 0提问于2018-09-23得票数 2
回答已采纳
1回答
当我尝试使用我各自的模式对数据运行时，它返回错误"AvroRuntimeException:格式错误的数据。长度为负：-40“。我看到其他人也遇到过类似的问题：、和。它一直运行到这部分代码(第73行)我已经尝试了其他解码器，并打印出了avro变量的内容，我相信你会期望序列化的byteArrayInputStream数据看起来是什么样子(在消息中，我可以看到模式</
浏览 0提问于2016-03-16得票数 11
回答已采纳
我已经用数据填充了FlowFiles的属性，我想将这些数据放入每个FlowFile内容中包含的Avro元数据中。
我该怎么做？我尝试使用配置了UpdateRecord处理器的AvroReader和AvroRecordSetWriter，以及一个带有/canary键的属性，该属性应该在Avro文档中的某个地方为该键写入FlowFile将Avro数据中的记录移动到子键并将元数据部分作为记录数据的一部分是可以接受的。不过，我不喜欢这样做，因为它似乎不是正确的解决方案
浏览 1提问于2018-01-29得票数 1
回答已采纳
1回答
我已经编写了一个自定义NiFi处理器，它使用一些Hadoop类，处理流文件和序列化往返于Avro的流文件。据我所知
要使用Hadoop类而不将它们打包为NAR的一部分，我需要nifi-hadoop-nar包和来将流文件内容序列化到/从Avro，我需要RecordSetWriter和读取器，这是record-serialization-services-api标记为provided，所以它不会被捆绑在生成的NAR文件<
浏览 6提问于2019-09-25得票数 0
因此，我在ApacheNifi中创建了一个工作流程，提取电子邮件记录，并将csv文件转换为json文件。我使用InferAvroSchema到ConvertRecord将csv转换为json。所有操作都很好，直到我得到一个csv文件，该文件不遵循我编写的avroschema。现在，我需要找到一种将csv转换为json的方法，而不必使用这两个处理器，因为csv格式会不时变化。我目前正在使用的csv格式
浏览 3提问于2019-07-11得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
