如何在NIFI中使用自定义处理器逐个传输流文件
在NIFI中使用自定义处理器逐个传输流文件的步骤如下：
- 创建自定义处理器：首先，您需要创建一个自定义处理器来实现逐个传输流文件的功能。自定义处理器是NIFI中的一个组件，用于对数据流进行处理和转换。您可以使用Java编写自定义处理器，并将其打包为NAR（NIFI Archive）文件。
- 定义处理器属性：在自定义处理器中，您可以定义一些属性，用于配置处理器的行为。例如，您可以定义一个属性来指定要传输的文件夹路径，以及一个属性来指定传输文件的目标位置。
- 实现自定义处理逻辑：在自定义处理器的代码中，您需要实现逐个传输流文件的逻辑。您可以使用NIFI提供的API来获取输入流文件，并将其逐个传输到目标位置。您可以使用Java的文件操作API来读取和写入文件。
- 打包和部署处理器：将自定义处理器的代码打包为NAR文件，并将其部署到NIFI的扩展目录中。NIFI会自动加载并识别新的处理器。
- 配置和使用自定义处理器：在NIFI的图形界面中，您可以配置自定义处理器的属性，例如指定要传输的文件夹路径和目标位置。然后，您可以将自定义处理器添加到数据流中，并连接到其他处理器。
- 启动和监控数据流：启动NIFI数据流后，自定义处理器将按照配置的逻辑逐个传输流文件。您可以使用NIFI的监控界面来查看数据流的状态和性能指标。
自定义处理器的优势是可以根据特定需求定制化处理逻辑，提高数据处理的灵活性和效率。它适用于需要特定文件传输逻辑的场景，例如按照特定规则筛选文件、对文件进行加密或解密、将文件传输到特定的目标位置等。
腾讯云相关产品中，可以使用腾讯云对象存储（COS）来存储和管理传输的文件。您可以使用腾讯云COS SDK来在自定义处理器中实现文件的上传和下载操作。腾讯云COS提供了高可靠性、高可用性和高扩展性的对象存储服务，适用于各种规模的应用场景。
腾讯云COS产品介绍链接地址：https://cloud.tencent.com/product/cos
相关·内容
我是NiFi的新手。我们的组织中有一个复杂的NiFi数据流。我们将不同的项目数据流隔离到过程组中。我被要求为特定项目(NiFi中的Process)在给定的时间内找到数据卷？如何在NiFi网络UI中找到它？
浏览 2提问于2020-04-29得票数 0
回答已采纳
我是一个数据warehousing和apache nifi的初学者.我正在尝试将Mysql表数据放入nifi，然后想把这些数据放到另一个mysql数据库表中，我成功地从数据库表中获取了数据，我还可以使用putFile处理器将该数据打印到文件中。
但现在我想将排队的数据存储到mysql数据库表中，我知道有putSQL处理器，但它不适合我。有没有人能告诉我怎么做才对。
以下是我的流程的截图
PutSQL配置-
我将数据从Avro转换为JSON，然后将JSON转换为SQL，以备不时之需，但这也不起作用。
浏览 101提问于2021-10-06得票数 0
NiFi版本- 1.8
希望基于属性手动合并多个流文件。
我知道，使用MergeRecordProcessor可以很容易地通过指定Correlation Attribute Name属性来实现这一点，但希望使用Groovy Script(ExecuteGroovyScript/ExecuteScript)来完成。
Flowfile计数将小于20，因此在对该特定属性进行合并之后，它应该小于8。
有一个有效的方法来做这个manually using Groovy script吗？如果我必须用脚本来做这件事的话，请给我指明正确的方向。
浏览 4提问于2020-05-05得票数 1
1回答
我想知道如何在NiFi中生成文件名。
这背后的问题是，两个流文件是否有可能具有相同的名称？
例如，如果我们有一个NiFi集群，其中一个处理器正在运行，并将执行设置为“所有节点”；我们已经观察到相同的数据可以出现在每个节点中--在这种情况下，是否有可能生成相同的文件名？
浏览 0提问于2018-06-13得票数 1
回答已采纳
Nifi中是否有一种运行python脚本的方法，该脚本具有从不同文件夹导入的模块、在pipfile中指定的需求以及要传递的参数？
简而言之，如何使用Nifi执行通常在我的虚拟环境中运行的python脚本？
我的最终目标是使用Get获取一个文件并将其发布到API中。我试过执行进程，执行流命令处理器。
浏览 1提问于2020-04-22得票数 0
1回答
是否可以使用REST将外部数据(而不是NiFi流)存储到NiFi注册表中？
据我所知，NiFi注册表是为NiFi流的版本化而设计的。但我想知道它是否能够将其他数据存储到NiFi注册表中，并根据版本检索它。
浏览 0提问于2018-07-03得票数 3
回答已采纳
我已经创建了自定义处理器，在其中从上游连接读取文件，并在读取完成时将其删除。
在这里我尝试删除文件的代码。
String input_File="C:\File\Filename.txt";
File delete_Files= new File(input_File);
delete_Files.delete();
但是我不能在Apache Nifi only.If中删除文件，我已经在java api中使用了相同的方法，它可以删除文件。
有人能建议我在Apache Nifi中阅读后删除文件吗？
浏览 15提问于2017-03-16得票数 1
回答已采纳
在本地运行，它的工作方式与我想要的完全一样(有一个传入的流文件，在位置7-10有许多不同的代码，每个唯一的代码输出一个文件)例如，如果记录1-5在位置7-10有1234，记录6在位置7-10有2345，记录7在位置7-10有1234，那么将有一个名为1234_file.txt的文件，其中有1-5和7行，第二个文件2345_file.txt将有来自输入文件的第6行：
f = open("test_comp.txt", "r")
for x in f:
comp = x[6:10]
print(comp)
n = open(comp+"
浏览 4提问于2020-10-21得票数 0
我正在为Apache NiFi开发一个自定义处理器。我已经创建了处理器的nar，并将它放在nifi的lib文件夹中，并启动了nifi。我已经在eclipse中设置了远程调试器，并在onTrigger()的第一行上启用了断点。在调试时，我正在我的nifi管道中一次运行一个处理器。我可以在自定义处理器的输入队列中找到单个流文件，但是我的自定义处理器没有接收到任何流文件。当我启动我的自定义处理器时，它会击中onTrigger()方法中的断点。在此方法中，当我这样做时：
public class MyCustomProc extends AbstractProcessor {
@Overri
浏览 1提问于2019-05-02得票数 2
我为我的文档创建了Azure CosmosDb数据库和容器。我使用NiFi作为主要的数据摄取工具，并希望为我的容器提供来自NiFi流文件的文档。有没有人可以分享一下从NiFi向Azure Cosmos Db发布流文件内容的方法？
提前感谢
更新(2019.05.26)：最后我使用了Python script，并从NiFi调用它来发布消息。我传递了一条消息作为参数。我选择python的原因是因为它在微软官方网站上有一些示例，其中包含所有必需的连接设置和库，因此很容易连接到Cosmos。我尝试了Mongo组件，但无法连接到Azure (安全配置不起作用)，并没有用得太远，因为Python脚本工作得
浏览 5提问于2018-12-09得票数 1
我是NiFi的新手。正在尝试将csv文件插入到sql server，但需要在插入之前取消数据透视。例如:这是原始的csv
Name, Maths, Science, English
Raghav, 60, 70, 80
Nisha, 77, 56, 89
sql表的最终输出：
Name, subject, marks
Raghav, Maths, 60
Raghav, Science, 70
Raghav, English, 80
Nisha, Maths, 77
Nisha, Science, 56
Nisha, English, 89
我如何在NiFi中实现这一点。不需要临时表
我尝试使用
浏览 0提问于2017-10-13得票数 1
3回答
我在Ubuntu16.04.3LTS的VM实例上安装了Nifi 1.4.0和Elasticsearch 5.6.2。
我的目标是使用Nifi从Twitter中提取一些数据，并将这些数据存储在Elasticsearch中，最终我将在Kabana中使用这些数据。
问题 Everything是独立工作的，也就是说，我可以直接从命令行向Elasticsearch添加数据并检索它。我还可以访问Nifi，我正在成功地从twitter中提取数据，并将其传递给PutElasticsearch处理器。
Nifi从Twitter中提取数据然后抛出错误的图片
引发的异常如下所示：PutElasticsea
浏览 15提问于2017-10-08得票数 2
回答已采纳
我想编写nifi处理器，它可以从hdfs目录中读取xml文件，然后将其数据提取到流文件属性中，如果有两个nifi处理器可以获取该文件并读取数据或写入其中的情况，那么如何实现文件锁定，以便一次只有一个处理器可以使用它？你能给我提供任何可以帮助我的文章、代码示例或相关资料吗？我还没有写任何自定义处理器。
浏览 5提问于2017-09-30得票数 1
新来的NiFi！
我想知道是否有一种方法可以在NiFi中发送包含流文件属性的空流文件？我想用它作为触发器来指示某种类型的事件已经启动。
在NiFi中，是否有其他方法来指示一组事件已经开始和结束？例如，如果我有三个处理器读取数据，并且我想知道第一个处理器即将被触发，并且最后一个处理器已经完成。不管怎么说，我可以这么做吗？如果处理器继续运行，我希望能够一次将从处理器1读取到处理器3的数据分组。让这件事更清楚
Begin
Processor1
Processor2
Processor3
End
Begin
Processor1
Processor2
Processor3
End
...
任何帮助都将
浏览 4提问于2017-05-17得票数 4
回答已采纳
我们已经开始在很多数据管道作业中使用NiFi。在Nifi中具有挑战性的事情之一是对流的变化进行回归测试。
处理NiFi流的单元测试和功能测试的常见方法是什么？有什么框架吗？
浏览 0提问于2019-07-16得票数 6
我目前的理解是，NiFi处理器属性是特定于该处理器的。因此，向处理器添加新属性只会在该处理器中可见，而不会传递给以后的处理器块？
这就是为什么UpdateAttribute必须添加在流文件遍历数据流时与其保持在一起的元数据：
那么，允许用户在处理器中添加自定义属性(而不是为该处理器执行所需的属性)有什么价值呢？它是否类似于创建变量，然后可以用于其他属性？
浏览 1提问于2019-01-19得票数 6
回答已采纳
我对Apache Camel和EIP非常有经验，正在努力理解如何在Nifi中实现等价物。我知道Nifi使用了一种不同的范式(基于流的编程)，但我不认为我尝试做的事情是不合理的。
简而言之，我希望将每个文件的内容发送到多个rest服务，并希望将响应聚合到单个文档中，该文档将存储在elasticsearch中。我可能还会做一些进一步的处理和清理，以改进存储的内容(但这不是我当前的问题)
该屏幕截图是我试图实现的目标的快速模型，但我对Nifi的了解还不够多，无法知道如何正确地实现此模式。
浏览 30提问于2018-08-24得票数 2
回答已采纳
我正在为我的数据流开发新的Nifi处理器。我在eclipse中进行了代码更改，创建了新的.nar文件，并将其复制到Nifi lib进行测试。
在每次nar更新时，Nifi都需要重新启动，这需要大量的时间。
有没有更好的方法在Nifi中测试你的新.nar？因为对于每一个小的更改，重新启动Nifi都会降低开发速度。
浏览 0提问于2017-06-26得票数 5
1回答
场景
来自windows的名为test_csv.csv的CSV数据。摄取CSV数据到hdfs。节拍> (ListenBeats) NiFi (PutHDFS) > HDFS
数据样本：
a,b,c,d,e
a1,b1,c1,d1,e1
a2,b2,c2,d2,e2
a3,b3,c3,d3,e3
a4,b4,c4,d4,e4
a5,b5,c5,d5,e5
a6,b6,c6,d6,e6
a7,b7,c7,d7,e7
a8,b8,c8,d8,e8
根据Nifi的Flow UI，它工作得很好，并成功地写入了hdfs。问题是
hadoop@ambari:~$ hdfs dfs -ls /us
浏览 2提问于2020-07-06得票数 0
回答已采纳
我在自定义NiFi处理器中为不同的时间范围从远程API服务中摄取数据。
我有时间范围全局计数器，它与每次迭代更新(我使用的是计时器驱动的调度策略)。
当计数器大于最大值时，我希望只传输FlowFile from request (session.get())和SUCCESS关系，即不执行其他逻辑：
session.transfer(requestFlowFile, SUCCESS);
当时间范围收集结束时，我无法停止或暂停处理器。因此，我试图使用上述方法作为解决方案。
所有迭代都进行得很好，直到计数器大于最大值，并且处理器试图将FlowFile从请求(session.get())中传输出去。
浏览 1提问于2017-05-25得票数 1
* Update：我已经改变了我在回答问题时所描述的方法，由于这个问题，原来报告的问题变得毫无意义。***
我正在尝试开发一个Nifi应用程序，它为Kakfa提供了一个WebSocket接口。我无法使用标准的Nifi组件来完成这一任务，因为我已经尝试了如下(这可能没有意义，但直觉上这正是我想要实现的)：
我现在已经创建了一个自定义处理器"ReadFromKafka“，我打算使用它，如下图所示。"ReadFromKafka“将使用与标准"PutWebSocket”组件相同的实现，但会读取来自卡夫卡主题的消息并作为对WebSocket客户端的响应发送。
浏览 6提问于2021-09-06得票数 0
我正在实现一个NiFi处理器，并就最佳实践进行了几点澄清：
Session.getProvenanceReporter().modify(.)-应该在每个session.transfer()之后立即发出事件吗？
session.commit() -文档表明，在对流文件执行操作之后，可以调用提交或回滚。
开发人员指南：
问题是，不显式调用这些方法会带来什么损失？
浏览 0提问于2016-09-12得票数 4
回答已采纳
理解Apache可以与NiFi集成，如所示。NiFi使用加载Spring应用程序上下文。
问: NiFi能否与Spring集成？具体来说，NiFi处理器是否可以流向调用Spring应用程序的处理器，然后再流回NiFi处理器？如果是这样的话，是否有任何样本来证明它？
注意:这种集成不是关于NiFi调用Spring的，如所示。
浏览 0提问于2018-08-29得票数 3
回答已采纳
我必须知道数据传输作业(流程组内的流程)的状态，它是完成了，失败了，还是正在运行。我想在web应用程序中使用nipyapi来完成这个任务。
我在NiFi中有一个进程组，其中有NiFi流。我正在使用nipyapi调度进程组：
nipyapi.canvas.schedule_process_group(id, True)
现在，我希望使用nipyapi监视进程组的状态。根据状态，我特别想知道它是否仍在运行、失败或完成。
浏览 2提问于2019-04-24得票数 0
回答已采纳
有办法通过REST获得PutSQL处理器最后一次执行的时间戳吗？这样的时间戳存在吗?或者我可以自己构建一个时间戳？
设置：，我有气流触发我的Nifi，它以几个PutSQL处理器结束-在这些完成之后，我需要在气流中执行其他的东西。
Idea:，我想触发第一个Nifi处理器，然后在气流中等待，直到最后一个PutSQL处理器的last_execution_timestamp被更新。
问题：I尝试访问属性statsLastRefreshed，但这不是最后一次执行时间，而是最后一次任何东西(用户/api请求)访问导致Nifi刷新处理器的处理器。
s = processor["status"
浏览 1提问于2021-04-12得票数 1
回答已采纳
1回答
我正在尝试使用配置文件自定义kylo中可用的标准数据摄取模板。我在kylo/conf目录中的application.properties文件中添加了字段名nifi.getfile.business_line1=Test。当我试图在处理器${ business_line1 }中使用nifi表达式时，它将抛出为“business_line1未找到”。
或者，还有其他方法来提供自定义标准数据吗？
有人能给我一个解决办法吗..。
浏览 3提问于2017-08-16得票数 3
回答已采纳
我目前正在使用ListenHTTP处理器来接受来自不同NiFi实例的流文件。这很好，但出于某种原因，GET请求不起作用。ListenHTTP只允许发布请求吗？
这是我收到的错误：
HTTP method GET is not supported by this URL
我知道有一个更先进的HandleHTTPRequest处理器。
浏览 4提问于2016-11-28得票数 1
回答已采纳
在合并内容处理器nifi中，Bin打包算法和碎片合并策略的区别是什么？
浏览 4提问于2018-01-09得票数 1
回答已采纳
我看到，其他人已经能够让这个工作，但我找不到足够的细节，解释他们如何做到这一点，以使我的工作。
at 声称他能够做到这一点。虽然对如何做到这一点有一个简短的描述，但我并不完全理解。
提出的解决办法是：
使用InvokeHTTP，您可以添加动态属性，这些属性将在请求中作为标头发送。您可以使用动态属性来设置内容类型和SOAPAction标题的值，只需为动态属性的名称使用标头名称即可。InvokeHTTP允许您控制HTTP方法，因此可以将其设置为POST。剩下的步骤是将request.xml的内容作为一个流文件发送到InvokeHTTP。一种方法是使用GetFile处理器从文件系统的某个位置获取
浏览 0提问于2018-03-23得票数 3
回答已采纳
我想做的是.
我希望将输入文件划分为寄存器，将每个记录转换为一个文件，并将所有文件保留在一个目录中。
我的.csv文件有以下结构：
ERP,J,JACKSON,8388 SOUTH CALIFORNIA ST.,TUCSON,AZ,85708,267-3352,,ALLENTON,MI,48002,810,710-0470,369-98-6555,462-11-4610,1953-05-00,F,
ERP,FRANK,DIETSCH,5064 E METAIRIE AVE.,BRANDSVILLA,MO,65687,252-5592,1176 E THAYER ST.,COLUMBIA
浏览 2提问于2018-12-12得票数 0
回答已采纳
我有一个流文件，它将通过一个模板采用几个不同的路径，并且我想合并结果。我的问题是流文件将具有相同的内容，只是基于内容的一些不同的属性。 我想知道是否可以使用合并处理器之一合并两个相同的流文件，但也可以让单个生成的流文件具有每个单独输入的所有属性。 例如:流文件1具有内容"hello“和属性"b = 4”。流文件2具有内容"hello“和属性"a = 3”。我希望结果流文件具有内容"hello“和属性"a = 3”和"b = 4“。这在Nifi中是可能的吗？
浏览 27提问于2019-08-30得票数 0
回答已采纳
我有一个Nifi流，在Json中有多行数据，对于每个行，需要执行以下操作：
拆分数据(EvaluateJsonPath)并将相关字段插入数据库(Mysql)，将表A的字段取为表A，并将它们放入DB中。此操作的返回值是表A中自动生成的ID。从表插入获取返回值，并与表B字段合并。表A的返回值成为表B中的引用值，因此分隔行条目成为链接。
我已经设置了flow (见图)，但是MergeContent处理器失败了，因为我认为它不知道如何正确地合并内容。如果我有200行，它只合并一行，其余的就失败了。我在Nifi中读过关于碎片整理的文章，但是没有成功地实现它，所以非常感谢您的任何输入。
流程图：
浏览 7提问于2019-11-15得票数 1
我有一个处理器，可以生成JSON格式的时间序列数据。根据收到的数据，我需要在python上使用机器学习算法进行预测。然后将新的预测值写入另一个流文件。
问题是:当您运行这样的python脚本时，它必须执行许多大规模的预处理操作:查询数据库、创建复杂的数据结构、初始化预测模型等。
如果使用ExecuteStreamCommand，那么对于每个流文件，每次都会运行脚本。这是真的吗？
我是否可以在NIFI中创建一个python脚本，该脚本只启动一次并多次接收流文件，存储以前接收到的数据的历史记录。或者我是否需要创建一个HTTP服务来接收来自NIFI的数据？
浏览 5提问于2020-06-03得票数 0
我们可以使用任何nifi处理器解压缩/解压缩WinRAR文件吗？我尝试了未打包内容和压缩内容，但它们没有rar文件格式。
浏览 0提问于2018-05-02得票数 0
回答已采纳
1回答
我想要创建一个自定义的NiFi处理器，它可以读取ESRi ASCII grid files并返回类似于CSV的表示，每个文件都有一些元数据和地理引用的WKT格式的用户数据。
不幸的是，解析的结果没有作为更新的流文件写回。
是我在NiFi中实现这一目标的尝试。
不幸的是，只返回原始文件。转换后的输出不会持久化。
当尝试调整它以手动序列化某些CSV字符串时，如下所示：
val lineSep = System.getProperty("line.separator")
val csvResult = result.map(p => p.productIterator.
浏览 3提问于2017-05-28得票数 1
回答已采纳
我想使用getFileSytem()来拉入任何比我们拥有的时间戳更新的文件，但我不能导入它(我的意思是getFileSytem())我有以下代码：
final FileSystem hdfs = getFileSystem();
final boolean recursive = context.getProperty(RECURSE_SUBDIRS).asBoolean();
final Set<FileStatus> statuses;
try {
final Path rootPath = new Path(directory);
statuses = ge
浏览 2提问于2017-11-01得票数 1
我将数据从csv文件转储到Cassandra后，通过NIFI进行了一些数据操作。我期待着来自cassandra的响应消息(为了确保所有数据都被转储)，在这个成功/失败消息之后，我需要在下游管道中触发另一个API。 有人能告诉我如何从cassandra获取响应消息吗？
浏览 23提问于2019-12-19得票数 0
对于源为HDFS、目标为Oracle DB的ETL进程，使用Apache NIFI的效率如何。与其他ETL工具相比，Apache NIFI的局限性是什么？
浏览 2提问于2017-08-20得票数 5
我在玩NiFi自定义处理器。如何将org.apache.nifi.web.StandardNiFiServiceFacade实例注入自定义处理器实例？
背景：
我正在努力实现在处理器执行后停止处理器的目标。我知道nifi处理器只用于流处理，而不是批处理，在批处理中，我们只执行一次作业。但是，为了利用NiFi执行支持，需要这样做。随着进一步的实验，我将能够使用自定义处理器实例中可用的StandardNiFiServiceFacade实例来实现这一点。
浏览 0提问于2018-08-13得票数 0
回答已采纳
1回答
我和NiFi和Hive一起在安巴里的一个HDP网箱里工作。
我有一个NiFi流，我将修改后的文件上传到hdfs，然后使用generateflowfile将查询load data inpath 'hdfs/path/' into table tablename传递给puthiveql处理器。
它工作得很好，但我只想在“hdfs / path”指定的路径中有文件时这样做，因为当命令load inpath执行时，hdfs目录会清空。
我不知道我该怎么做。
非常感谢！
浏览 0提问于2019-07-25得票数 1
回答已采纳
我只是尝试使用Nifi从csv文件中提取头部。我对Nifi很陌生，对处理器也不太习惯。我试图使用GetFile->ExtractText->PutFile获取标题行，并将其输出到另一个目录中。这是我在ExtractText中使用的正则表达式：^(.*)\n
浏览 1提问于2019-03-08得票数 1
回答已采纳
我已经写了一个非常简单的Nifi模板，它首先列出一个对象，然后从Google Cloud Storage上的存储桶中获取对象。显然，当获取对象时，Nifi会尝试使用互联网从存储桶中下载对象。我的问题是，如果我想要将这样的对象摄取到其他Google Cloud服务，比如Pub/Sub或Cloud Datastore，我是否需要将这些文件下载到一个单独的节点？
为什么我不应该在Google Cloud中有另一个节点，它可以与Google Cloud Storage中的IP组在同一组中？因此，它不是从互联网上下载，而是在网络之间传输对象？
我的另一个问题是:用于将存储桶的文件和对象传输到发布/订阅等
浏览 2提问于2018-12-16得票数 0
我正在尝试使用apache NiFi向mongodb插入一个文档。我只想从Flow File属性插入文档，而不是从Flow File内容插入文档。
我尝试过使用PutMongo处理器，但它插入了流文件的内容，我不希望它插入。我需要使用flow文件的属性插入自定义文档。
浏览 0提问于2019-02-05得票数 0
回答已采纳
我正在尝试获取一个容器化的Nifi实例，以便使用Active作为一个流文件源。
我希望定期对AD运行一个查询(例如LDAP查询)，并将特定用户的列表返回给Nifi，以便为每个用户在磁盘上创建一个文件夹。
我查看了处理器列表，没有发现任何似乎适合查询AD的东西。我漏掉了什么明显的东西吗？
实现这一目标的最佳途径是什么？
浏览 1提问于2020-09-01得票数 1
回答已采纳
2回答
Nifi火花流
、、
我正在寻找的方式，我可以利用火花流在尼菲。我看到了几个SiteToSite tcp连接用于火花流应用程序的帖子，但我认为如果我能够从Nifi自定义处理器启动spark，那将是件好事。
PublishKafka将发布消息到卡夫卡，然后是Nifi火花流媒体处理器将阅读从卡夫卡的主题。
我可以使用从自定义的Nifi处理器启动星火流应用程序，但最大的挑战是它将为每个流文件创建火花流上下文，这可能是昂贵的操作。
有人建议在控制器服务中存储火花流上下文吗？还是使用Nifi运行星火流应用程序的更好方法？
浏览 1提问于2017-06-04得票数 3
我想使用nifi解压压缩的.7z目录。
我现在在nifi中拥有的内容: GetFile procesor -> IdentifyMimeType procesor -> CompressContent procesor设置为解压缩和使用mime.type属性-> PutFile procesor。
目录看过了，但还没有打开。
我很感激你的帮助--我没有找到任何有用的东西--这可能吗？
浏览 0提问于2018-05-04得票数 2
回答已采纳
1回答
我正在从SFTP站点读取CSV文件，并使用Nifi将其加载到mysql db。
我有下面的工作流程，似乎工作得很好。在开始加载数据之前，我需要一些帮助才能弄清楚如何截断表。
Nifi流：
ListSFTP -> FetchSFTP -> InferAvroSchema -> ConvertCSVtoAvro -> ConvertAvrotoJSON -> SplitJSON -> ConvertJSONtoSQL -> PutSQL
这个流看起来工作得很好，但是每次我运行它时，我都需要先截断表，然后开始加载。
谁能帮我提供一些信息，我如何实现这
浏览 2提问于2017-12-29得票数 1
回答已采纳
我陷入了一个问题，NIFI服务就是拒绝启动。我监控了nifi-app.log，发现是OutOfMemory错误。我在bootstap.conf文件中增加了内存。但是这个错误仍然存在。
附件是nifi-app.log
2017-12-19 17:08:37,133 ERROR [ActiveMQ InactivityMonitor ReadCheckTimer] org.apache.nifi.NiFi An Unknown Error Occurred in Thread Thread[ActiveMQ InactivityMonitor ReadCheckTimer,5,main]:
浏览 57提问于2017-12-20得票数 6
回答已采纳
1回答
我试图在同步集成平台中导入我的自定义处理器。
由于同步集成是基于Apache NiFi的，所以我尝试将编译后的处理器(即.nar文件)放到lib目录中：
/syncfusion_location/SDK/NIFI/lib
然后重新启动同步。但我在处理器列表中找不到处理器。
当我在纯NiFi导入中这样做时，工作正常(这在NiFi文档中也有描述)。
我搞错什么了？
浏览 1提问于2017-06-18得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
