我正在尝试使用NiFi MergeContent将多个拼图文件合并在一起。对我通过ConvertRecord操作符获得的拼图文件执行https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.6.0/org.apache.nifi.processors.standard.
浏览 36提问于2021-01-05得票数 0
回答已采纳
我设置了以下流程，用于读取json数据并使用convertRecord处理器将其转换为csv。但是，输出流文件是，只填充单个记录(我假设只有第一个记录)，而不是所有记录。来源json数据：{"creation_Date": "2018-08-19", "Hour_of_day": 17, "log_coun
浏览 1提问于2018-08-21得票数 0
回答已采纳
这是关于Nifi中的MergeContent处理器的问题。目前，我需要以一种方式将所有具有一个特定属性的流文件组合在一起。它们有没有办法等待所有具有相同属性的流文件进入MergeContent处理器，并同时合并所有这些流文件？ 如果不是，还有什么办法呢？
浏览 285提问于2019-05-29得票数 3
做AttributesToJSON (drop content) => MergeContent (defragment) => QueryRecord (counting) => EvaluateJSONPath理想情况下，我希望以某种方式在MergeContent上/之后添加属性。问题是，MergeContent正在删除具有相同键但值不同的属性。另外，Nifi没有任何处理器来添加动态数量的属性。
浏览 1提问于2020-07-12得票数 0
1回答
在Nifi中，我们可以通过两种方式设计一个流：
基于内容的修改(UpdateContent) --在这种方法中，我们直接修改流文件的内容。更新完成后，我们将属性写入flow文件，然后使用MergeContent合并流文件。我们在第一种情况下获得了更好的性能，in the second case many of the processors are slow like ExtractText and specially MergeContentFile -> FetchFile -> Extract Text -> Up
浏览 4提问于2020-06-22得票数 1
1回答
我是nifi的新手，我正在尝试使用nifi在mysql中进行批量插入，下面是我的示例流程结构。SplitJson -> routeOnAttribute -> MergeContentflowfiles) -> ExecuteSql 在这里，executeSql只插入一
浏览 133提问于2019-03-12得票数 1
MergeContent处理器还是MergeRecord？我认为mergerecord可以处理它，但我对它感到困惑。
浏览 237提问于2018-09-02得票数 5
回答已采纳
我有一个从S3获取文件的Nifi流。通过S3获取一对文件，然后将其传递到MergeContent处理器。接下来，每对文件都需要一个README文件。
此README文件始终相同，我已将其存储在本地。我有一个从MergeContent处理器接收内容的ExecuteStreamCommand。我尝试使用ListFile/FetchFile组合将README文件传入MergeContent处理器，但它不能像预期的那样工作。我想我要查找的最终结果是一个包含从S3下载的一对文件+ README文件的MergeCon
浏览 7提问于2017-02-20得票数 0
回答已采纳
我在Nifi中使用MergeContent处理器将两个far文件合并到一个大JSON对象中，我到目前为止所做的工作如下：
我的问题是，这个数据流有时只给我两个流文件中的一个，另一个问题是如何确保我的mergeContent流文件是固定顺序的。
浏览 3提问于2016-12-07得票数 1
回答已采纳
我正在处理NiFi中的单个日志文件，以搜索包含特定字符串的记录，并将过滤后的记录传输到另一个文件。(我使用的是GetFile->SplitText->RouteText->MergeContent->PutFile))
问题是，日志文件不断地获得附加到它的新记录，并且NiFi在每次迭代中扫描整个文件。有没有办法让NiFi只扫描文件中新追加的记录？
浏览 0提问于2018-09-11得票数 1
我正在使用CompressContent处理器在nifi中压缩名为somefile.csv的文件，当我将其保存在本地驱动器上并在mac中双击解压时，它是解压缩的，但失去了.csv扩展。
浏览 24提问于2019-10-30得票数 0
在Apache1.15版本的NiFi中，创建了一个由3个NiFi节点组成的集群。当通过默认端口6342使用负载平衡时，流文件会卡在一些队列中，即在启用负载平衡的队列中。已印发：
流文件似乎被卡在其中的NiFi队列的配置：
另一个可能与此无关的问题是，在这种情况发生后，一些流文件会到达后续的NiFi处理器，但是会在MergeContent处理器之前陷入困境。这一次，可以列出队列：
浏览 4提问于2022-03-08得票数 3
问题是，如果我处理每个csv文件，当它们在MergeContent的队列中时，它会阻塞nifi实例。你知道为什么会发生这种事吗？ExtendedMergeContent是一个继承了MergeContent的处理器，它等待所有文件打包，然后向下一个处理器发送信号。它不会重新组合整个文件。
浏览 0提问于2016-11-12得票数 1
1回答
我正在使用consumekafka投票消息，每隔500到10000条记录，而nifi迭代每30秒发生一次。我想消费iteration一旦所有作业完成轮询下一次迭代。一旦puthdfs成功，我需要使用下一次迭代，在这里我提到了nifi工作流。工作流程： consumekafka -> mergecontent->convertRecord->updateattribute->puthdfs
浏览 15提问于2020-04-06得票数 0
我使用了MergeContent，但这会创建zip文件，而不是GZIP。另一边的系统只是在寻找GZIP。我可以使用CompressContent创建一个GZIP文件，但这对跨网络发送并不有效。此外，我需要保留单个文件的头文件，这就是我想使用MergeContent的原因。我可以将文件作为流文件包写入磁盘，运行脚本，获取结果，然后发送，但我认为我可以在NiFi中实现这一点，而无需写入磁盘。
有什么建议吗？
浏览 5提问于2022-03-01得票数 0
回答已采纳
我有两个有效负载，希望将它们合并到单个JSON对象(流连接)中。在一些地方，人们建议使用AttributesToJSON，但由于其中一个JSON没有固定的属性集，我猜这是不可能的。 第一个有效载荷是 { "title_link":"https://api.slack.com/", "author_link":"http://fli
浏览 21提问于2019-03-12得票数 3
我正在构建nifi中的流，在流中我需要通过一个字段过滤JSON。因此，我决定拆分json，然后通过SplitJson和MergeContent处理器合并过滤部分。输入，所以我希望MergeCo
浏览 1提问于2019-07-28得票数 1
回答已采纳
在合并内容处理器nifi中，Bin打包算法和碎片合并策略的区别是什么？
浏览 4提问于2018-01-09得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
