NiFi版本- 1.9.1 我正在试着读csv和写拼花。NiFi流中没有错误，但我不能以任何方式做到这一点，请阅读NiFi之后的拼图 ? 配置CVS阅读器 ?
浏览 33提问于2020-08-12得票数 0
我有一个json文件，几乎有500.000记录，其中有一些是糟糕的分析或双引号在错误的地方。问题是，当我试图UpdateRecord出现一个警告显示哪些是故障记录，但我不能加载任何其他有效的记录。UpdateRecord ->将屏蔽一条记录我不知道如何将好记录从UpdateRecord发送到PutParquet，将坏记录发送到错误日志。我的记录中失败的例子：
2020-10-06 01:47:23,471 ERROR org
浏览 5提问于2020-10-06得票数 1
我想在NiFi中将Avro文件转换为Parquet。我知道可以通过ConvertAvroToORC处理器转换为ORC，但我没有找到转换为Parquet的解决方案。我不想将它存储在HDFS中，因此PutParquet处理器似乎不适用。
我需要一个处理器，比如：ConvertAvroToParquet
浏览 0提问于2019-02-19得票数 2
回答已采纳
2回答
我是一个NIFI的新手，我的使用案例是从端口读取并以拼接格式写入hdfs，我的研究表明有一个叫做KiteSDK的东西，我可以用它保存为format.Am I right ?.
浏览 4提问于2016-05-11得票数 1
然后，我有NiFi流和PutParquet处理器一起为这个HDFS集群编写一些文件。现在，当集群重新启动并将实际的Namenode更改为"second.namenode.host.com:8020“时，NiFi中的配置没有更新，处理器仍然尝试使用旧的namenode地址，因此会引发一些异常现在的问题是:如何在NiFi中跟踪此事件，以便在HDFS配置更改时自动更新PutParqet处理器配置？
NiFi版本为1.6.0，HDFS版本为2.6.0-cdh5.8.3。
浏览 0提问于2018-09-14得票数 0
回答已采纳
我有influxDB Line记录，通过ConsumeKafka处理器进入NiFi，然后合并成包含10,000个记录的流文件。是否有一种方法将Line转换为PutParquet处理器可消费的东西，或者另一种方式将其转换为Parquet文件？我确实找到了一个定制的处理器，但是关于如何使用这个处理器没有什么信息和例子(我已经找到了)，所以我不确定它是否适合这个用例。或者，我可以使用Spark来完成转换和编写Parquet文件，但是我希望尽一切可能在NiFi中完成所有事情，特
浏览 7提问于2019-12-03得票数 0
回答已采纳
我试图在NiFi (1.11.4)中构建一个流，该流读取来自AMQ的Avro消息，使用对它们进行累加，然后将合并的parquet文件写入HDFS。因此，我尝试使用AvroRecordSetWriter，然后是PutParquet (或ConvertAvroToParquet) )，并面临另一个问题:如果我为拼花文件设置行组大小(例如122MB)，那么小文件永远不会被写入。因为在我为测试AvroParquetWriter而编写的简单Java程序中(本质上与NiFi
浏览 3提问于2020-09-25得票数 0
我正在尝试从nifi中的s3存储桶中读取镶木面板文件。为了读取文件，我使用了处理器listS3和fetchS3Object，然后使用了ExtractAttribute处理器。这些文件在parquet.gz文件中，我根本无法从它们生成flowfile，我的最终目的是将文件加载到noSql(SnowFlake)中。 FetchParquet与我们不使用的HDFS一起工作。我的下一个选择是使用executeScript处理器(带有python)来读取这些拼图文件</e
浏览 32提问于2019-01-31得票数 0
1回答
我使用的是Nifi 0.4.1版本。正在编写自定义代码以将CSV转换为avro格式。我已经创建了类文件，并能够生成nar文件。将nar文件放入lib目录并重新启动nifi服务器。类文件没有任何错误或警告。任何帮助都很感激..。
谢谢,
浏览 4提问于2016-02-25得票数 3
2回答
我正在使用apache-nifi，除非在配置文件中使用公共DNS名称，否则在启动web服务器时，我似乎无法绑定到某个地址。使用DNS名称解析为的IP地址无效。(实际上，我正在运行一个nifi集群，嵌入式动物园管理员也无法绑定IP地址或主机别名，但是可以使用DNS名称。因此，我在/etc/hosts中创建了一个条目，如下所示：我在nifi.web.http.ho
浏览 4提问于2017-09-15得票数 1
回答已采纳
1回答
我使用Apache 1.9.2将关系数据库中的数据加载到中。其目的是将结果写入Parquet文件中，因为它以柱状方式存储数据。为了实现这一点，我使用了Nifi中的ConvertAvroToParquet (默认设置)处理器(后面是PutGCSObject处理器)。/avro示例文件的链接：
正如我所知道的，Nifi在流程文件中与处理器之间的Avro格式一起工作，我还编写了avro文件(就像在ConvertAvroToParquet处理器之前)，我可以在Spa
浏览 0提问于2019-06-17得票数 3
我已经创建了几个自定义NiFi处理器，但是无法获得要生成的使用文档。“使用”文档指的是右键单击处理器并选择“使用”，这将显示有关该特定处理器的文档。将显示文档面板，但我的自定义处理器都不存在。我还试着创建一个additionalDetails.html文件，并根据文档将其放入nar中。该文件应该存在于一个目录中，该目录的名称是处理器的完全限定名，该目录的父目录应该命名为docs，并存在于处理器的jar根目录中。
然而，这打破了NiFi，我在日志中找到了这个。at
浏览 1提问于2019-08-16得票数 0
我按照中描述的步骤从NiFi连接到OPC服务器。 at org.apache.nifi.web.server.JettyServer.start(JettyServer.java:699)
at org.apache.<
浏览 22提问于2017-07-27得票数 0
Caused by: org.apache.kafka.common.KafkaException: javax.security.auth.login.LoginException: unable to: unable to find LoginModule class: org.apache.kafka.common.security.plain.PlainLoginModule
下面是我在Nifi我将kafka_client_jaas.conf文件保存在Nifi配置路径中(/opt
浏览 173提问于2020-02-24得票数 0
我已经创建了一个自定义的码头容器来运行Apache NiFi，并在NiFi之上创建了其他一些比特。容器正在运行Ubuntu 18，nifi.properties文件非常普通。这是我的码头文件。/
RUN wget https://archive.apache.org/dist/nifi/1.11.4/nifi-1
浏览 2提问于2021-06-16得票数 1
回答已采纳
我正在用Scala编写一个简单的Spark应用程序，它实例化了一个NiFi接收器，尽管它使用SBT成功地构建了，但当我尝试使用spark-submit运行该应用程序时，我收到了以下错误：应该注意的是，如果我将两个nifi行更改为使用Scala等效项(即每行
浏览 4提问于2016-07-19得票数 2
我启动了一个apache/nifi容器，构建并配置了一个流。我不清楚是什么文件(nar、xml等)需要对用户要运行的映像可用。
浏览 5提问于2020-09-22得票数 1
我需要将一堆json文件流式传输到Nifi，然后Nifi再转到HDFS。Nifi需要查看json文件中的创建日期(UNIX格式)，然后将其路由到适当的HDFS文件夹。我的处理器设置如下： 消费Kafka -> RouteOnContent (使用正则表达式^"creationDate"：\"0-9{4}-0-9{2}-0-9{2}$) -> PutHDFS 每天都有一个HDFS文件夹，比如"2019-
浏览 15提问于2019-01-29得票数 0
1回答
我创建了一个Google引擎，并解压缩了Nifi文件。启动NiFi后，我可以在日志中看到NiFi已经启动，并显示它正在通过计算引擎的内部IP地址运行。
浏览 3提问于2019-06-17得票数 2
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
