我使用NiFi中的进程QueryDatabaseTable从DB2中增量地获取数据。QueryDatabaseTable计划每5分钟运行一次。最大值列被设置为"rep“(对应于DB2数据库中的日期)。
我有一个单独的MySQL数据库，我想用值&qu
浏览 30提问于2016-07-20得票数 2
我正在使用QueryDatabaseTable processor对Bigquery进行增量批量更新。Oracle数据库表继续以每分钟5个新行的速度增加。Flow：QueryDatabaseTable -> ConvertAvroToJson -> PutBigQueryBatchUpdate 我按照10分钟的计划运行了这个流，查询结果大约为2000行。我修改过的QueryDatabaseTable处理器
浏览 46提问于2020-01-08得票数 1
回答已采纳
是否有可能从数据库中获取数据集并对其进行排序？我有一个非常大的表(72百万行)，我需要以并行的方式(就像GenerateTableFetch所做的那样)获得它们，但是按列排序，在我的例子中是"url"？
浏览 1提问于2018-04-26得票数 0
回答已采纳
我正在使用Nifi中的QueryCassandra处理器从Cassandra获取数据来摄取MSSql表。但是我的Cassandra查询总是重复运行，并且我没有任何选项来设置Cassandra Nifi的处理器中的增量或最大值列。如何使用增量Cassandra查询执行<
浏览 51提问于2021-05-09得票数 0
我正在使用ExecuteSQLRecord处理器转储一个包含百万条100+记录的大表(100 GB)中的内容。我遗漏了什么？我使用的是NiFi 1.9.1
谢谢。
浏览 12提问于2019-11-13得票数 1
我正在尝试使用QueryDatabaseTable创建我的第一个流，以增量方式从Oracle数据库表中提取行。
我看到下面的错误。我启用了完全调试，但没有任何其他有用的日志记录。但是，它不能保证任务将被取消，因为当前OnScheduled操作中的代码可能是为了忽略中断而编写的，而中断可能会导致线程失控。这可能导致更多的问题，最终需要重新启动NiFi</em
浏览 3提问于2017-07-10得票数 1
回答已采纳
在NiFi中运行查询数据库处理器时，一些记录会丢失。
我尝试从Oracle DB中提取数据，最大列值是Date数据类型的创建日期。没有附加时间戳(23-JUN-18)。在每5分钟触发一次作业以实现近乎实时的摄取时，一些记录正在丢失。我不确定发生这种情况是因为表中没有时间戳，还是因为插入了新记录而</em
浏览 4提问于2018-06-27得票数 0
我们使用HDF从oracle获取大量数据。我们有一个generateTableFetch来创建包含8000条记录的分区，创建如下所示的查询：现在，这个查
浏览 0提问于2019-03-05得票数 0
回答已采纳
1回答
我正在尝试将记录从Oracle插入到Postgresql。为此，我使用QueryDatabaseTableRecord -> PutDatabaseRecord几周前，我在Postgresql上也遇到了同样的</em
浏览 3提问于2020-01-01得票数 0
回答已采纳
我试图使用MySql和PutHiveQl处理器将数据从QueryDatabaseTable导入到Hive，但是会发生错误。
puthiveql的输出格式是什么？在哪里可以找到MySql到Hive进程的模板？
浏览 2提问于2016-07-15得票数 2
回答已采纳
我使用QueryDatabaseTable从PDA/Netezza表中读取数据，该表大约有7000万行。Nifi被设置为一个单节点实例，并对bootstrap.conf进行了编辑，以提供16gRAM。QueryDatabase表使用缺省值，但其结果是，整个70米，大约需要1.5小时的时间。QueryDatabase
浏览 3提问于2019-10-03得票数 1
回答已采纳
2回答
我正在尝试使用Nifi从Oracle插入一个表到HDFS。Oracle中的源表有一个名为timestamp(6)的sd_timestamp数据类型字段。Nifi有以下处理器：
CovertAVROSchema:这个有输入和输出模式。输入和输出模式都将sd_timestamp数据类型作为
浏览 0提问于2018-05-09得票数 0
我正在处理NIFI数据流，其中我的usecase是获取mysql表数据并放入hdfs/本地文件系统中。我已经建立了一个数据流管道，在这里我使用了querydatabaseTable处理器- ConvertRecord即使在表中插入新记录时，我也能够在目的地接收文件当我更新存在的
浏览 0提问于2019-02-18得票数 2
没有多少是免费的。在自由选择中，他们似乎对ArangoDB没有任何了解或支持。如果有人已经处理过将其数据迁移到ArangoDB并自动完成此过程的问题，我很想知道您是如何做到这一点的。下面我列出了几种ETL工具的选择。这些选择实际上是我从2016年星火欧洲演讲中得到的。* IBM InfoSphere DataStage* Pervasive D
浏览 0提问于2018-03-22得票数 1
回答已采纳
1回答
我们正在尝试使用Apache Nifi将数据从Oracle迁移到Elasticsearch。我们试图在单个弹性索引中建立一对多关系(在Oracle中表示为多个表)。我们试图实现的目标可以总结如下。(The primary key of table1 is key1)
对于每个获取的记录，我们希望使用表1中的键<
浏览 11提问于2020-07-21得票数 0
1回答
删除NiFi中的重复项
、、、
我有一个流程QueryDatabaseTable->ConvertRecord->PutElasticseachHttpRecord，我想要做的是从MySQL数据库中获取全部数据，并将其输入Elasticsearch，以便使用Kibana对其执行分析。但是，我的数据有重复的列，如下所示：(黑色高亮显示是唯一的重复值)
浏览 1提问于2018-10-05得票数 5
回答已采纳
我在Apache产品方面很新。我试图用Nifi(1.11.4)从MS检索数据，但是我得到了以下错误：
我想这可能
浏览 6提问于2020-10-09得票数 0
回答已采纳
我需要获取一组表中每列的最大数据长度。我可以单独处理每个表，但我正在寻找一种至少遍历表中所有列的方法。我目前使用下面的查询来获取每列的最大值-from exampleSchema.exampleTableName;
我基本上是用表中
浏览 5提问于2015-02-05得票数 1
回答已采纳
我正在尝试使用LINQ查询从数据表中获取最大值。rowmax.Field<string>(column name B)=="36"
select rowmax.Field<string>(column name C)).Max(); C列中的值但是当我对MAX执行上面的查询时
浏览 23提问于2020-01-09得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
