在nifi1.8中，PutDatabaseRecord有没有办法通知你在CSV文件的哪一行有错误或者模式不对应？ 我对将大的CSV文件转储到数据库中很感兴趣，但我也想记录错误文件和发生错误的行。
浏览 18提问于2019-02-14得票数 0
通常在我们的环境中，当有人要摄取新数据时，他们会生成一个新的CSV文件，Nifi将从SFTP中提取该文件。然而，我有一个新的例子，源的CSV文件位于共享驱动器上，当有更新时，他们的应用程序会向其中添加新的行。 有没有一种方法可以让Nifi监控这个CSV文件，以确定何时添加了新行？它是否可以随后仅摄取新数据？我认为它对关系数据库有类似的东西，但我还没有看到文件有类似的东西。提前谢谢。
浏览 18提问于2019-12-17得票数 0
请参阅示例场景： csv文件内容 john|doe|1
stacy|doe|2 数据库字段 fname | lname | list_index | raw_text 我的目标是摄取和保存CSV文件内容到数据库使用nifi处理器。请参阅下面插入到数据库中的示例输出，包括插入到raw_text列中的记录。
浏览 102提问于2021-07-13得票数 0
回答已采纳
我们使用Nifi在HDFS中摄取数据。是否可以同时在Oracle或任何其他使用NIFI的数据库中摄取相同的数据？我需要在两个地方发布相同的数据(HDFS和Oracle数据库)，而不想写两个订阅程序。
浏览 18提问于2019-02-26得票数 0
回答已采纳
我们正在探索Apache NiFi，将其作为满足企业需求的通用数据摄取工具。 一个典型的数据摄取需求是将数据从RDBMS系统移动到HDFS。我能够使用NiFi提供的GenerateTableFetch和ExecuteSQL处理器在NiFi中构建从关系型数据库到HDFS的数据移动流，对于较小的表，一切工作正常。 ? 有没有人针对类似的需求做过NiFi和SQOOP的性能比较？
浏览 25提问于2019-05-14得票数 3
我们有一个nifi模板，用于从关系SQL Server DB中提取数据，并将表的每一行作为Marklogic中的文档进行摄取。现在，我们希望在组合中添加DH，并将nifi模板作为注入流的一部分运行，以填充staging DB。将nifi模板作为摄取流的一部分进行调用的推荐方法是什么？是否有其他推荐的方法来从关系数据库中提取数据，并在注入流期间将其注入Marklogic？ 谢谢你的帮助。
浏览 24提问于2021-04-07得票数 0
我需要使用apache nifi将基于表名的多个csv文件摄取到它们各自的配置单元表中。源json文件中的table_address数据应该转到配置单元中的table_address，其他表也是如此。简而言之，需要将源json文件中的记录分离到多个tablename.csv格式的csv文件中，并将其加载到各自的hive表中。evaluatejsonpath > updateattribute -> replacetext -> putfile
从kafka Golden试验中消耗的源js
浏览 6提问于2019-04-10得票数 0
我想使用CURL.Please将.csv文件或mysql表从本地计算机(GetFile)发送到Apache Nifi中的Hive(PutHiveql)，让我知道是否有使用Curl执行此操作的命令。
浏览 0提问于2017-06-28得票数 0
NiFi 1.5版datetime,a.DLG,b.DLG,c.DLG2019/02/04 01:00,86567,96.5,0datetime,a.DLG,b.DLG,c.DLG2019&#
浏览 0提问于2019-04-04得票数 0
我们使用Nifi将来自SQL数据库和CSV文件的文档摄取到数据中心。我们使用Quickstart应用程序。
我们有XML和JSON技术。
浏览 11提问于2020-03-11得票数 0
回答已采纳
1回答
我需要使用Nifi来设计一个管道，但是我有一些问题，因为我在考虑两种方法之间的关系，我不确定要使用哪些处理器，所以也许您可以帮我。场景如下:我需要在我的HDFS中摄取一些.csv文件，这些文件不包含我想要用来划分以后使用的Hive表的日期，所以我想到了两个选项：
所以任何帮助都是非常感谢的，谢谢。
浏览 0提问于2019-03-14得票数 0
1回答
我正在使用Apache NiFi来摄取来自Azure存储的数据。现在，我想要读取的文件(100+ GB)可以有任何扩展名，我希望读取该文件的头以获得它的实际扩展名。获取数据的NiFi管道如下所示
我需要一种在这个NiFi管道中获取文件扩展名的方法。有办法从内容回购中读取文件头吗？如果是的话，我们该怎么做？FlowFile只有元数据，该元数据将content-type表示为CSV的text/plain。
浏览 9提问于2022-02-18得票数 0
回答已采纳
2回答
我有一个项目，涉及从数据库中提取数据到文本文件，然后将其摄取到Hadoop中。因此，我想创建一个shell脚本，NiFi可以自动运行该脚本来检查是否提取了文本文件并将其摄取，但我需要确保在摄取之前已经提取了整个数据。这意味着我需要检查文本文件是否有EOF，我该怎么做呢？
浏览 0提问于2017-12-06得票数 0
我正在尝试将Nifi QueryDatabaseTable处理器连接到Salesforce，以便检索要加载到Marklogic数据中心的数据。
浏览 1提问于2019-10-23得票数 0
1回答
场景hadoop@ambari:~$ hdfs dfs -cat /user/nifi/test.csv
cat: `/user/nifi/test.csv': Is a directoryhadoop@ambari:~$ hdfs
浏览 2提问于2020-07-06得票数 0
回答已采纳
2回答
导入Sqoop列名问题
、、、
我有个关于Kylo和Nifi的问题。Kylo的版本是0.10.1，Nifi的版本是1.6.0对于我们的需求，我们希望Import将表中的所有列自动放入此属性，而无需在Nifi</
浏览 9提问于2020-02-15得票数 3
我为我的文档创建了Azure CosmosDb数据库和容器。我使用NiFi作为主要的数据摄取工具，并希望为我的容器提供来自NiFi流文件的文档。有没有人可以分享一下从NiFi向Azure Cosmos Db发布流文件内容的方法？更新(2019.05.26)：最后我使用了Python script，并从NiFi调用它来发布消息。
浏览 5提问于2018-12-09得票数 1
我正在尝试设置一个简单的过程来修改我的CSV文件，并使用Apache Nifi将其摄取到elasticsearch DB。我不想在将文件从一个处理器传递到另一个处理器时，在Stdout上流式传输我的CSV文件。
我已经做了两个流程。我的第一个流程是使用python处理器获取我的CSV文件，使用ExecuteStreamCommand对其进行定制，我在其中运行我的GetFile脚本来读取、修改和保存我的CSV文件。我的第二个流程再次使用GetFile处理器读取修改后的CSV</em
浏览 2提问于2019-08-06得票数 0
我计划使用Apache作为数据摄取用例。源可以是平面文件和Teradata数据库，输出接收器可以是Oracle数据库。我创建了几个流，使用GetFile和Teradata使用ExecuteSQL从平面文件中读取数据，并使用PutSQL将数据加载到Oracle数据库。一切似乎都很顺利。我们预测源系统将来可能会发生变化，我注意到Nifi中的处理器可以用来支持这些源。
现在，我的问题是，是否可以在一个Nifi流中从Teradata读取多个表并将数据加载到oracle数据库中的
浏览 4提问于2017-03-02得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号