如何在NiFi处理器中重新加载外部配置数据
在NiFi处理器中重新加载外部配置数据的方法可以通过使用NiFi的配置文件和处理器属性来实现。下面是详细步骤：
- 创建配置文件：首先，你可以创建一个独立的配置文件，用于存储外部配置数据。这可以是一个.properties文件或者任何其他格式的文件，具体取决于你的需求和偏好。在配置文件中，你可以定义各种参数、变量或者键值对，用于配置处理器的行为。
- 配置处理器属性：在NiFi的处理器中，你可以使用处理器的属性来引用配置文件中的值。使用NiFi的属性配置面板，你可以指定一个属性，然后将其设置为配置文件中的相应值。这样，处理器就可以动态地读取和使用配置数据。
- 监听配置文件的更改：为了实现重新加载外部配置数据的能力，你可以设置一个监听器来监测配置文件的更改。当配置文件发生更改时，监听器将会自动重新加载配置数据。这可以通过编写一个自定义的NiFi处理器来实现，该处理器在配置文件发生更改时触发相应的逻辑。你可以使用NiFi的开发框架来创建自定义处理器，并将其与配置文件的监听器集成在一起。
- 提供数据重载的方式：你可以定义一种方式来触发重新加载外部配置数据的操作。这可以是一个定时任务，或者是通过NiFi的REST API或命令行工具来手动触发的。通过执行这个操作，你可以通知处理器重新读取配置文件，更新其属性值并应用新的配置。
总结起来，通过使用NiFi的配置文件、处理器属性、监听器和重新加载机制，你可以在NiFi处理器中实现动态地重新加载外部配置数据的能力。这样可以方便地修改和更新配置，同时避免了手动修改处理器的属性值的繁琐操作。这种机制可以应用于任何需要根据配置文件来改变处理器行为的场景中。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云NiFi：https://cloud.tencent.com/product/nifi
- 腾讯云云原生应用平台：https://cloud.tencent.com/product/tke
相关·内容
我有一个自定义的nifi处理器，它使用外部数据进行一些用户控制的配置。我想知道当数据发生更改时，如何向处理器发出信号以重新加载数据。我在想，可以发送一个flofile来通知处理器，但我担心在集群环境中，只有一个处理器会收到通知，而所有其他处理器仍将在旧配置上运行。
浏览 9提问于2020-09-25得票数 0
我正在使用NiFi链接几个API调用。通过在外部配置文件(例如JSON，甚至nifi.properties文件)中设置API键/端点，我将使流更加可配置。如何在我的处理器属性中使用此配置文件中的信息？
提前谢谢你！
浏览 1提问于2016-07-07得票数 3
回答已采纳
有时候，当集群重新启动时，Namenodes就会交换它们的角色--备用状态变为活动状态，反之亦然。
然后，我有NiFi流和PutParquet处理器一起为这个HDFS集群编写一些文件。处理器被配置为“hdfs:// ${namenode} /some”目录属性，其中${namenode}变量值与"first.namenode.host.com:8020“类似。现在，当集群重新启动并将实际的Namenode更改为"second.nameno
浏览 0提问于2018-09-14得票数 0
回答已采纳
我设置了一个httpListen处理器来监听端口8080。当我在8080上使用postman连接到本地主机时，它工作得很好，但是外部连接被拒绝了。我认为可能是必须配置为所有外部连接的nifi.properties文件。从与nifi服务器相同的网络中的端点，我能够平平NIFI服务器，但是运行命令wget http://<private_NIFI_IP>:8080/contentListener却
浏览 12提问于2022-01-20得票数 0
1回答
是否可以使用REST将外部数据(而不是NiFi流)存储到NiFi注册表中？
据我所知，NiFi注册表是为NiFi流的版本化而设计的。但我想知道它是否能够将其他数据存储到NiFi注册表中，并根据版本检索它。
浏览 0提问于2018-07-03得票数 3
回答已采纳
可以从java应用程序调用Apache处理器或HandleHttpRequest吗？另外，如何从java应用程序向ListenHTTP“远程URL”属性发送自定义参数？如何将参数通过URL传递给Nifi处理器组？以及如何通过该URL启动处理器组。localhost:8080/api/firstname/{first_name}/lastname/{last_name}
我想把first_name和last_na
浏览 2提问于2020-06-08得票数 1
回答已采纳
如果nifi正在使用PutHDFS或PutFile写入磁盘，并且它被终止或进程中断，则在编写10个块中的4个块之后。恢复后，nifi会从第5个块开始写入还是再次重写整个文件以创建副本？
浏览 0提问于2018-05-18得票数 3
回答已采纳
我使用的是混合了内置处理器和自定义处理器的NiFi。我需要能够将一些元数据附加到关于生成该日志消息的处理器的日志消息中(包括来自普通/默认/内置处理器)。我能想到的最简单的方法就是为记录器配置MDC。问题是，我不知道在哪里可以将NiFi配置为使用自定义记录器来代替其默认记录器。我确实看到NiFi具有可以实现的ComponentLog接口，因此我将有足够的上下文信息将元数据
浏览 15提问于2020-06-10得票数 2
回答已采纳
已印发：
流文件似乎被卡在其中的NiFi队列的配置：
另一个可能与此无关的问题是，在这种情况发生后，一些流文件会到达后续的NiFi处理器这一次，可以列出队列：队列的配置：队列中FlowFiles的列表：MergeContent处理器配置。参数"max_num_for_m
浏览 4提问于2022-03-08得票数 3
我试着从我的nifi中获得系统诊断数据。但我有“匿名身份验证尚未配置”。错误。所有东西过去都正常工作，但是在最后一次重新启动nifi之后，发生了这个错误。下面的屏幕截图显示了InvokeHTTP处理器配置
浏览 16提问于2022-02-17得票数 0
我的本地windows机器上有一个文件中的数据。本地机器上运行着Apache NiFi。我想使用NiFi通过网络将这个文件发送到HDFS。如何在本地计算机上在中配置putHDFS处理器，以便通过网络将数据发送给HDFS
谢谢!
浏览 3提问于2016-08-11得票数 3
回答已采纳
1回答
一种是包含Nifi的hdf集群，另一种是包含HDF、Hive等组件的HDP集群。我们正在从文件中读取数据，并希望将其放入hdp群集hdfs中。提前感谢
浏览 1提问于2016-10-28得票数 0
因此，对于每个供应商，我必须在我的解决方案中执行一组流程。然而，这些过程将根据每个供应商的不同而改变。下面是需要执行的高级别流程。以下内容应该能够从所选的解决方案中获得。able to execute some functions parallelly (Eg: Image processing)
目前，我正在考虑使用Nifi。但有谁能给出你的意见吗
浏览 3提问于2018-11-12得票数 10
回答已采纳
Apache NiFi的新手。如果可能的话，想知道如何实现这一设想：目标是避免每个流文件的脚本初始化和相关
浏览 0提问于2020-03-18得票数 0
回答已采纳
1回答
我正在尝试将csv数据摄取到Hive数据库中。为此目的，listFile --> FetchFile --> ConvertCSVToAvro --> ConvertAvroToOrc --> PutHDFS现在，我想用putHiveQL处理器进行测试。
为此，我需要将CSV<em
浏览 1提问于2019-05-16得票数 1
我正在尝试使用Nifi作为syslog的路由器，基于与syslog.body匹配的正则表达式列表(nb，因为这只是一个概念证明，如果需要，我可以更改任何部分) 这个想法的过程是，管理员可以通过一个单独的系统定义一个标准列表(每个标准的regex格式似乎都是合理的)，如果匹配，将导致将syslog消息发送到特定的单独系统(例如，所有关键审计数据(与regex列表匹配)都将发送到审计系统，而所有其他数据将发送到标准日志存储我知道这可以由内容处理器在Route上完成，但属性是在处理器启动之前配置</em
浏览 21提问于2019-05-03得票数 1
回答已采纳
据官方称，国家允许Nifi处理器“从重启NiFi后中断的地方恢复。此外，它还允许存储一些信息()，以便处理器可以从集群中的所有不同节点访问该信息”。如果我的理解良好，那么当我们配置一个动物园管理员提供程序时，状态将不会在本地持久保存，而是将数据发送给动物园管理员。我已经探索了动物园管理员znodes，但没有找到任何与状态相关的数据，我所能找到的只是关于协调器和主节点的信息。但是，本地州目录仍然被填充。
配置非常简单，我有3个外
浏览 1提问于2021-06-03得票数 0
我们正在尝试使用Apache将数据从RDBMS迁移到弹性搜索。我们已经在Nifi创建了管道，能够传输数据，但也面临一些问题，我们希望检查是否有人已经克服了这些问题。
请就下列项目提供投入。1.在弹性搜索中如何避免自动生成_id。我们希望从DB列中设置这个值。我们尝试在PutElasticSearchHTTPRecord处理器中的“标识符记录路径”属性中提供列名，但是得到了一个属性名无效的错误。请告诉我们可以接受的格式好吗？如何使用NIfi将嵌套对象<e
浏览 5提问于2020-07-16得票数 0
我正在实现自定义NiFi处理器来解码一些文件。在解码过程中，我需要查找某些数据映射的外部CSV记录。注意，这个解码过程很复杂，所以它必须是一个自定义处理器。我知道可以设置外部CSVRecordLookupService，然后在CustomController中定义一个属性描述符，如下所示
public static final PropertyDescriptor因此，我将它添加到我的processors pom.xml中，如
浏览 4提问于2021-04-05得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
