腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
Nifi
:
写入
到
流
文件
、
我正在尝试使用groovy和outputStream (这是一个bytearrayoutputstream)在
Nifi
中
写入
流
文件
。但是,我
写入
流
文件
的大小是零。我做错了吗?提前谢谢。
浏览 0
提问于2017-07-10
得票数 0
回答已采纳
1
回答
使用
NIFI
从Kafka插入Cassandra
、
、
、
我有一个要求阅读巨大的CSV
文件
从卡夫卡主题
到
卡桑德拉。我配置了以实现同样的目标。用户在
Nifi
安装程序上没有控件。他只指定CSV所在的URL。web应用程序将URL
写入
kafka主题。
Nifi
获取
文件
并插入Cassandra。任何帮助都将不胜感激。
浏览 0
提问于2016-09-02
得票数 1
回答已采纳
1
回答
来自
NiFi
KafkaConsumer的from
文件
属性
、
、
、
、
我一直试图访问
NiFi
流量
文件
属性从卡夫卡消息在星火
流
。我使用Java作为语言。场景是,
NiFI
使用GetSFTP处理器从FTP位置读取二进制
文件
,并使用publishKafka处理器将byte[]消息发布
到
Kafka。这些byte[]属性使用火花
流
作业转换为ASCII数据,这些解码后的ASCII被
写入
Kafka进行进一步处理,并使用
NiFi
处理器保存到HDFS。我的问题是我无法跟踪二进制
文件
名和解码的ASCII<e
浏览 9
提问于2017-06-09
得票数 1
回答已采纳
5
回答
如何使用docker-compose持久化
nifi
流
文件
?
、
现在,我正在使用
nifi
和它的处理器来处理一些
流
内容(mqtt侦听器、json求值、文本替换、
写入
数据库……)。我试图持久化flowfiles,因此我做了一些卷映射(见下文)。但是它不工作;重新启动容器后,似乎
流
文件
没有保存…… 谁能给我一个如何解决这个问题的提示?:volumes: -
nifi
浏览 96
提问于2019-03-25
得票数 5
回答已采纳
1
回答
在
NiFi
拓扑中收集用户输入的方法
我是
NiFi
新手,所以我不确定这是否可能(或正确的设计方法):我打算使用Wait处理器,使用PostHTTP处理器(通过GUI)提示用户,然后使用Notify处理器。PostHTTP处理器) 不幸的是,PostHTTP处理
浏览 1
提问于2017-06-16
得票数 2
1
回答
使用ExecuteStreamCommand的Python脚本
、
此外,我喜欢将数据保存在"
NiFi
管理“之下的想法。
浏览 0
提问于2018-03-24
得票数 12
回答已采纳
1
回答
Nifi
:从分割的日志
流
文件
中创建一个
流
文件
我想为
nifi
处理器创建日志
文件
,我让它们形成tailFail并逐行拆分文本,然后检查是否是错误、信息或警告日志,并路由
到
可执行
文件
处理器,但此时我有5个
流
文件
,我想统一这个拆分的
流
文件
并将其
写入
一个
流
文件
中我还想知道
nifi
自定义日志是否返回了我在工作流程中添加的所有处理器的日志
文件
,以及是否在logback.xml中添加了附加程序。 我想知道是否有可能统一
浏览 2
提问于2017-08-31
得票数 0
回答已采纳
1
回答
访问
NiFi
流
文件
的谱系
、
、
我正在为
NiFi
的
流
文件
开发某种错误处理,例如数据库子系统拒绝从
流
文件
中
写入
数据,因为数据并不像预期的那样,因为这些数据的源系统丢失了一些主数据。因此,这个错误处理会将数据
写入
MongoDB,并提供更多的信息,说明出了什么问题。 其中一个“更多的信息”是该
流
文件
的某种堆栈跟踪,这意味着数据沿袭。,/
nifi
-api/provenance/lineage在正文中添加了
流
<
浏览 0
提问于2018-11-29
得票数 3
回答已采纳
1
回答
是否可以将
Nifi
放到多个HDFS
文件
夹中?
、
、
我需要将一堆json
文件
流式传输到
Nifi
,然后
Nifi
再转到HDFS。
Nifi
需要查看json
文件
中的创建日期(UNIX格式),然后将其路由
到
适当的HDFS
文件
夹。我的处理器设置如下: 消费Kafka -> RouteOnContent (使用正则表达式^"creationDate":\"0-9{4}-0-9{2}-0-9{2}$) -> PutHDFS 每天都有一个HDFS
文件
夹据我所知,
Nifi<
浏览 15
提问于2019-01-29
得票数 0
1
回答
使用
NiFi
处理器创建更大的ConsumeKafka
流
文件
、
、
我创建了一个简单的
NiFi
管道,它从一个卡夫卡主题(使用ConsumeKafka)读取数据
流
,并将其
写入
HDFS (使用PutHDFS)。目前,我看到很多在HDFS上创建的小
文件
。新
文件
大约每秒钟创建一次,有些只有一两条记录。Max Poll Records = 10000在过去,我使用的是Flume
浏览 3
提问于2017-10-16
得票数 0
回答已采纳
2
回答
如何使用
流
创建正在运行的
nifi
docker镜像
、
我启动了一个apache/
nifi
容器,构建并配置了一个
流
。我不清楚是什么
文件
(nar、xml等)需要对用户要运行的映像可用。
浏览 5
提问于2020-09-22
得票数 1
1
回答
NiFi
如何在内存或磁盘中存储
流
数据
、
、
当下一个处理器无法接收或处理任何数据时,有人能详细解释
NiFi
处理器(如GetFile或QueryDatabaseTable )是如何存储行的吗?
浏览 4
提问于2017-05-15
得票数 5
回答已采纳
1
回答
Nifi
调用http如何获取值并在post数据期间添加为标头
我有一个
NiFi
流
,它需要将数据发布
到
其他服务器,在发布之前,它需要从我的内部服务器或
Nifi
分布式缓存中获取一个值。
浏览 100
提问于2020-01-22
得票数 0
2
回答
Apache和
Nifi
集成
、
我想将
Nifi
流
文件
发送到Spark,并在Spark中进行一些转换,然后再次将结果发送回
Nifi
,以便我能够在
Nifi
中进一步操作。我不想写
流
文件
写到数据库或HDFS,然后触发火花作业。我想直接发送
流
文件
到
星火和接收结果直接从火花到尼菲。我试过在
Nifi
中使用ExecuteSparkInteractive处理器,但我被卡住了。任何例子都会有帮助。
浏览 1
提问于2018-10-31
得票数 8
回答已采纳
2
回答
从
NiFi
发布
到
Azure Cosmos Db
、
我使用
NiFi
作为主要的数据摄取工具,并希望为我的容器提供来自
NiFi
流
文件
的文档。有没有人可以分享一下从
NiFi
向Azure Cosmos Db发布
流
文件
内容的方法?提前感谢 更新(2019.05.26):最后我使用了Python script,并从
NiFi
调用它来发布消息。我传递了一条消息作为参数。
浏览 5
提问于2018-12-09
得票数 1
1
回答
Apache :从Flowfile存储库问题中恢复
未能处理会话,原因是无法更新日志
文件
/data/disk1/
nifi
/flowfile_repository/journals/90620570.journal,因为尚未
写入
任何头。处理器在管理上产生了1秒: java.lang.IllegalStateException:无法更新日志
文件
/data/disk1/
nifi
/flowfile_repository/journals/9062
浏览 2
提问于2019-05-20
得票数 4
2
回答
是否有一种在
NiFi
中导入备份的方法?
、
使用
NiFi
v0.6.1是否有一种导入备份/归档的方法?所谓备份,我指的是当您使用REST或"Controller“(工具栏按钮)和”备份
流
“(链接)调用POST /controller/archive时生成的
文件
。但是,在将其与导出的模板
文件
进行比较之后,格式是相当不同的。但是也许有一种方法可以把它转换成模板呢?然后使用代码片段ID调用create (POST /
nifi
-api/contorller/templates),因此模板
浏览 9
提问于2016-06-21
得票数 5
回答已采纳
1
回答
通过
Nifi
进行微批处理
、
我有一个场景,我的kafka消息(来自同一主题)流经单个丰富管道,并在最后
写入
HDFS和MongoDB。我的Kafka consumer for HDFS将每小时运行一次(用于微批处理)。因此,我需要知道根据
流
文件
来自哪个消费者( HDFS消费者或Mongo DB消费者),将
流
文件
路由
到
putHDFS和putMongo的最佳方式。或者请建议是否有任何其他方法通过
Nifi
实现微批处理。 谢谢
浏览 1
提问于2019-03-22
得票数 0
1
回答
限制修改-对此进程组的访问
、
用户sys_admin可以添加组
到
画布和修改它和它的处理器。但这不管用。
浏览 1
提问于2019-03-06
得票数 0
回答已采纳
1
回答
从边缘节点到Hadoop的日志
文件
、
、
、
、
我正在寻找一种将整个日志
文件
从边缘节点流到Hadoop的方法。总结用例: 我们过去在
NiF
浏览 0
提问于2018-06-14
得票数 5
点击加载更多
相关
资讯
Apache NiFi用户指南-数据流版本控制
大数据流处理:Flume、Kafka和NiFi对比
Apache NiFi用户指南-建立数据流-组件版本
Apache NiFi用户指南-建立数据流-报告任务
PHP 文件创建/写入
热门
标签
更多标签
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
活动推荐
运营活动
广告
关闭
领券