我有一个文本文件，当我使用合并内容处理器数据附加无法合并时，我需要使用NIFI将文本文件合并为一个文件 示例:-如果我的文本文件有这样的数据 在file1:- 2201和file2:- 2202中使用nifi中的合并内容后，我得到的输出是22012202 <
浏览 18提问于2019-09-05得票数 1
回答已采纳
在合并内容处理器nifi中，Bin打包算法和碎片合并策略的区别是什么？
浏览 4提问于2018-01-09得票数 1
回答已采纳
我正在从列表SFTP处理器获得多个文件。然而，我们的要求是只根据文件的最后修改时间处理最新的文件。我试着通过合并内容处理器合并文件，但是最后的修改时间已经过去了。Nifi的当前版本为1.6，因此无法使用记录集编写器。如何实现它的解决方案。
浏览 1提问于2021-09-29得票数 0
回答已采纳
我在Kafka主题中有大约2000000条消息，我想使用NiFi将这些记录放到HDFS中，所以我使用PutHDFS处理器和ConsumeKafka_0_10，但它在HDFS中生成小文件，所以我使用合并内容处理器在推送文件之前合并记录这适用于少量消息，但在涉及海量数据的主题时，会为每条记录写入一个文件。
谢谢你！！
浏览 26提问于2018-07-18得票数 5
回答已采纳
我有一个流文件，它将通过一个模板采用几个不同的路径，并且我想合并结果。我的问题是流文件将具有相同的内容，只是基于内容的一些不同的属性。我想知道是否可以使用合并处理器之一合并两个相同的流文件，但也可以让单个生成的流文件具有每个单独输入的所有属性。 例如:流文件1具有内容"hello“和属性"b
浏览 27提问于2019-08-30得票数 0
回答已采纳
我在Nifi中使用MergeContent处理器将两个far文件合并到一个大JSON对象中，我到目前为止所做的工作如下：
我的问题是，这个数据流有时只给我两个流文件中的一个，另一个问题是如何确保我的mergeContent流文件是固定顺序的。
浏览 3提问于2016-12-07得票数 1
回答已采纳
这是关于Nifi中的MergeContent处理器的问题。目前，我需要以一种方式将所有具有一个特定属性的流文件组合在一起。但是发生的情况是，由于有如此多的flowFile具有相同的属性，所以处理器生成几个与该属性合并的不同的流文件，并且这几个流文件应该被合并到一个大的流文件中。它们有没有办法等待所有具有相同属性
浏览 285提问于2019-05-29得票数 3
1回答
我是nifi的新手(使用版本1.8.0)。我有消费卡夫卡信息的要求，其中包含车辆的位置，形式为lat，lon每条信息。我使用kafka处理器订阅消息，更新属性处理器(添加的属性为：${getStateValue(“seq”)}，seq:${getStateValue("seq"):plus(1)})以添加序列号为文件名文件名为1,2，3等)，并将文件处理器放在指定的目录中
浏览 0提问于2019-01-10得票数 3
我试图在NiFi (1.11.4)中构建一个流，该流读取来自AMQ的Avro消息，使用对它们进行累加，然后将合并的parquet文件写入HDFS。问题是，当我试图在Merge Record处理器(与AvroReader一起)中使用时--合并的内容永远不会根据最小Bin大小阈值发出--我尝试设置非常低的值--它只是不起作用。另外，如果我使用AvroRecordSet
浏览 3提问于2020-09-25得票数 0
我有一个Nifi流，在Json中有多行数据，对于每个行，需要执行以下操作：
拆分数据(EvaluateJsonPath)并将相关字段插入数据库(Mysql)，将表A的字段取为表A，并将它们放入DB中。此操作的返回值是表A中自动生成的ID。从表插入获取返回值，并与表B字段合并。表A的返回值成为表B中的引用值，因此分隔行条目成为链接。我已经设置了flow (见图)，但是MergeContent处理器失败
浏览 7提问于2019-11-15得票数 1
1回答
我已经开发了一个用于HDFS中数据摄取的NiFi流原型。现在我想要提高整体表现，但我似乎真的无法向前迈进。
流接收输入csv文件(每行有80个字段)，在行级别拆分它们，将一些转换应用到字段(使用4个自定义处理器依次执行)，将新行缓冲到csv文件中，并将它们输出到HDFS中。我开发处理器的方式是，在读取每个记录并将其字段移动到flow文件属性时，只访问流文件的内容一次。在amaz
浏览 4提问于2016-09-27得票数 5
回答已采纳
我想为nifi处理器创建日志文件，我让它们形成tailFail并逐行拆分文本，然后检查是否是错误、信息或警告日志，并路由到可执行文件处理器，但此时我有5个流文件，我想统一这个拆分的流文件并将其写入一个流文件中，我尝试使用合并内容，但我认为它不适合我的任务。我还想知道nifi自定义日志是否返回了我在工作流程中添加的所有处理器的日志文件，以及是否在l
浏览 2提问于2017-08-31得票数 0
回答已采纳
我正在分割字段列表，并试图在最后合并它们。我有两种字段，标准字段和定制字段。我处理自定义字段的方式与标准字段不同。模式设置为 "name": "custom field", "type": "record", { "name，我将标准字段的内容设置为新的</
浏览 0提问于2018-05-11得票数 0
回答已采纳
2回答
我有一个Nifi流，它从RDS表中获取一个数据并作为平面文件加载到S3中，现在我需要生成另一个文件，它将具有我要加载到S3桶中的文件的名称，这需要是一个单独的流；
示例:如果RDS提取的平面文件名为RDS.txt，那么新生成的文件应该以rds.txt作为内容，我需要将该文件加载到同一个S3桶中。我面临的问题是，我正在使用generate文件处理器
浏览 4提问于2020-12-09得票数 0
回答已采纳
1回答
我目前正在编写一个ElasticSearch Nifi处理器。单个插入/写入到ES并不是最优的，而是首选批处理文档。在Nifi处理器中跟踪(批处理)文档(FlowFiles)的最佳方法是什么，以及何时在一定数量上对它们进行批处理？我最关心的部分是，如果ES不可用、停机、网络分区等，则阻止批处理成功。问题的主要要点是，Nifi有用于排队/背压的内容存储，等等，是否有一种更好
浏览 2提问于2015-11-25得票数 0
回答已采纳
1回答
我有一个NiFi流，在这个流中，我从elasticsearch获取数据，经过一些处理后，我将流文件保存在目标位置。一旦保存了所有的流文件，我希望通知合并进程将文件中的所有数据合并到一个大的csv文件中。我的问题是如何通知合并处理器现在所有文件都已保存，并且现在开始合并所有文件。 谢谢你的帮助..:)
浏览 64提问于2021-08-09得票数 0
我设置了以下流程，用于读取json数据并使用convertRecord处理器将其转换为csv。但是，输出流文件是，只填充单个记录(我假设只有第一个记录)，而不是所有记录。有人能帮助提供正确的配置吗？log_count": 1328}流：
ConvertRecord处理器配置{ "n
浏览 1提问于2018-08-21得票数 0
回答已采纳
在nifi中，PutInfluxdb处理器可以将数据发送到Influxdb.但是没有什么比fetchInfluxdb/ConsumeInfluxdb处理器更好的了。
浏览 0提问于2018-06-04得票数 0
回答已采纳
1回答
所以他想使用合并内容处理器来解决这个问题。他似乎相信合并内容处理器会“整理”同名的文件，从而产生一个更大的单一文件。为了澄清:他希望它工作的方式是，如果今天的"sales_report.csv“出现，并且目录中已经存在一个"sales_report.csv”，他希望将今天的"sales_report.csv“中<em
浏览 0提问于2019-06-01得票数 2
回答已采纳
我希望通过预先存在的处理器来完成这一任务--我正在成功地将lat/lon坐标提取到带有"EvaluateJsonPath“处理器的属性中，并使用"ExecuteSQL”成功地向本地postgis数据存储发出查询这给我留下了avro，然后我可以用"ConvertAvroToJSON“处理器将其转换为JSON。
在如何将查询结果与原始JSON对象合并在一起时，我在概念上遇到了问题。179.22]}{"pol
浏览 2提问于2016-04-11得票数 4
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号