我已经设法使用GetMongo处理器将NiFi连接到MongoDB。我使用query来限制从MongoDB返回的数据量，但它仍然是数百万条记录。我已经执行了GetMongo处理器，我预计当从mongo db游标读取记录时，它将被批处理并最终写入到流文件中。这没发生过。记录从MongoDB流出(基于tcpdump和网络流量)，但仍在从游标获取结果时，没有发送流文件。查看记录提取10分钟后的状态：
仅出于测试目的，当我将"limit“参数设置为仅获取100条记录时，会发出流<
浏览 11提问于2019-03-16得票数 0
回答已采纳
我启动了一个apache/nifi容器，构建并配置了一个流。我不清楚是什么文件(nar、xml等)需要对用户要运行的映像可用。
浏览 5提问于2020-09-22得票数 1
如何在不访问apache nifi接口的情况下启动我创建的数据流。是否可以通过运行.bat文件来触发run？我是apache nifi的新手，对apache nifi的局限性一无所知。我将数据流保存为模板，并希望在不访问apache nifi界面的情况下启动它。
浏览 0提问于2019-10-27得票数 0
我看到当流文件带着无效数据到达时，由UpdateAttribute处理器从表达式生成的ProcessException异常的连续流。o.a.n.p.attributes.UpdateAttribute UpdateAttribute[id=e3d11ce6-327b-1b5b-e764-xxx] Failed to process session due to org.apache.nifi.processor.exception.ProcessException: U
浏览 29提问于2021-02-09得票数 0
我是Nifi的新手，正在寻找有关使用Nifi处理器以获得高达100MB/s速度的信息。
浏览 29提问于2020-04-10得票数 0
回答已采纳
1回答
我已经编写了一个自定义NiFi处理器，它使用一些Hadoop类，处理流文件和序列化往返于Avro的流文件。据我所知
要使用Hadoop类而不将它们打包为NAR的一部分，我需要nifi-hadoop-nar包和来将流文件内容序列化到/从Avro，我需要RecordSetWriter和读取器，这是record-serialization-services-api当我部署NAR并重新启动NiFi时，它会引发java.lang.Cl
浏览 6提问于2019-09-25得票数 0
我有一个NiFi流，它需要将数据发布到其他服务器，在发布之前，它需要从我的内部服务器或Nifi分布式缓存中获取一个值。
浏览 100提问于2020-01-22得票数 0
嗨，我必须在apache nifi中执行下面的python代码，我的nifi流程如下：
，我的python代码如下(我已经在本地毁了它，它工作得很好)
‘ import pandas as pdmapper={str(value[0]):n for n,value in labels.to_dict(orient='list').items()}, axis=1, inplace=True) 我的nifi流： ? 其中cdr来自GETSFTP，标签来自get文件
浏览 16提问于2019-06-20得票数 0
我需要在Apache命令中不指定物理PostgreSQL文件的情况下对NiFi表进行批量插入。我只是不能将CSV文件存储在磁盘上，并且希望使用来自以前处理器并已经采用CSV格式的流文件进行批量插入(或者我可以将它更改为json，这不是问题)。请注意，在Apache NiFi中，最好的方法是什么？
浏览 1提问于2021-03-01得票数 1
回答已采纳
这是关于Nifi中的MergeContent处理器的问题。目前，我需要以一种方式将所有具有一个特定属性的流文件组合在一起。但是发生的情况是，由于有如此多的flowFile具有相同的属性，所以处理器生成几个与该属性合并的不同的流文件，并且这几个流文件应该被合并到一个大的流文件中。它们有没有办法等待所有具有相同属性的流文件进入MergeContent处理器，并同时合并所有这些流
浏览 285提问于2019-05-29得票数 3
1回答
当下一个处理器无法接收或处理任何数据时，有人能详细解释NiFi处理器(如GetFile或QueryDatabaseTable )是如何存储行的吗？
浏览 4提问于2017-05-15得票数 5
回答已采纳
我已经为我的ETL管道设置了Apache，并且希望使用Apache气流启动(以及稍后监视)一个特定的处理器。我看到了在气流DAG中实现这一目标的两种方法：
queue/processorTrigger 从零开始生成一个流文件，并将其插入Nifi (一个“生成流文件处理器”)以创建一个流文件，该流文件依次插入到队列中airflow.operators.py
浏览 3提问于2021-03-15得票数 0
回答已采纳
我需要将一堆json文件流式传输到Nifi，然后Nifi再转到HDFS。Nifi需要查看json文件中的创建日期(UNIX格式)，然后将其路由到适当的HDFS文件夹。我的处理器设置如下： 消费Kafka -> RouteOnContent (使用正则表达式^"creationDate"：\"0-9{4}-0-9{2}-0-9{2}$) -> PutHDFS 每天都有一个HDFS文件夹据我所知，Nifi没有动态创
浏览 15提问于2019-01-29得票数 0
post将最大轮询记录设置为1，以保证一个流文件中的事件来自同一分区。https://github.com/apache/nifi/blob/ea9b0db2f620526c8dd0db595cf8b44c3ef835be/nifi-nar-bundles/nifi-kafka-bundle/nifi-kafka-0-9-processors/src/main&
浏览 11提问于2019-01-19得票数 0
回答已采纳
at org.apache.nifi.processors.hive.PutHiveStreaming.lambda$onHiveRecordsError$1(PutHiveStreaming.java:527) at org.apache.nifi.pro
浏览 1提问于2017-11-09得票数 0
我想调用Start和Stop使用NIFI REST API生成流文件。
例如，从python或shell脚本中，我可以使用NIFI REST API调用NIFI生成流文件
浏览 35提问于2021-02-22得票数 0
我有一个有6个节点的nifi集群，我想在我的自定义处理器的onTrigger函数中执行一些负载均衡： @Override
public void onTrigger(ProcessContext context
浏览 19提问于2019-10-08得票数 0
回答已采纳
1回答
因此表结构必须与文件结构同步。但是，如果文件大小很大，而且我们不知道它的结构，例如，列及其数据类型。新来的蜂巢，如果我的理解是错的，请原谅。
谢谢
浏览 1提问于2018-07-07得票数 2
回答已采纳
所以，我很想，基本上，能够旋转一个容器，运行Nifi，我已经有了一个模板。我对集装箱非常陌生，对Nifi也相当陌生。我想我知道如何旋转一个Nifi容器，但不知道如何使它每次都自动运行我的模板。
浏览 0提问于2018-03-23得票数 2
1回答
我试图在读取流文件的同时输出流文件。(它在读取完文件的一部分而不是整个文件后立即输出) 但是，ProcessSession似乎要求在目标处理器可以读取所有流文件之前提交它。下面是ProcessSession代码：github.com/apache/nifi/blob/master/nifi-api/src/main/ja
浏览 12提问于2020-01-03得票数 1
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
