flume将如何识别活动namenode，以便将数据写入HDFS？如果没有High Availability Hadoop，我们将在flume.conf中配置namenode，这样数据就可以轻松地定向到HDFS。而在我们的例子中，Flume应该识别活动和备用名称节点，因此数据应该被定向到活动名称节点。
浏览 2提问于2015-05-12得票数 2
1回答
我以根用户身份执行Flume agent，希望将保存在位置/root/data-pipeline/input的XML文件复制到hdfs中hdfs:///user/root/data_pipeline_demo当我以flume-ng agent -c /etc/flume/conf -f /etc/flume/conf/<e
浏览 0提问于2016-02-15得票数 0
我有一个Flume consolidator，它将每个条目都写入到亚马逊网络服务的S3存储桶中。似乎Flume在开头又追加了一个"/“。对这个问题有什么想法吗？这
浏览 0提问于2012-09-26得票数 2
回答已采纳
1回答
我正在寻找Java程序中的选项，这些选项可以将文件写入HDFS，并满足以下要求。我知道如何通过打开显示为的FSDataOutputStream将数据写入到HDFS上的文件中。我偶然发现了Flume，它提供了HDFS接收器，可以支持事务、压
浏览 1提问于2013-04-30得票数 1
我正在使用flume将服务器日志中的数据流式传输到hdfs。但是，当数据被流式传输到hdfs时，它首先创建.tmp文件。在配置中有没有一种方法可以隐藏.tmp文件，或者可以通过附加一个。在前面。agent -c conf -f /etc/flume/conf/flume-trg-agent.conf -n collector
#http://flume.apache.org/FlumeUserGuide.html#h
浏览 3提问于2015-07-15得票数 2
我看到了几个与此相关的问题，但没有完全得到我想要的东西。我使用的是Flume 1.8.0，在Flume代理被强行杀死后，我看到了.tmp文件。这些不会在重新启动冲槽代理时清除。有没有办法配置Flume代理来进行清理，或者这是我需要自己处理的事情(在Flume之外)？这是我用于测试的flume conf文件：agent.channels = memoryChannel
#.ty
浏览 8提问于2019-07-29得票数 0
1回答
我使用水槽来存储HDFS中的传感器数据。一旦通过MQTT接收到数据。订阅者将JSON格式的数据发布到Flume HTTP侦听器。它目前运行良好，但问题是，直到我停止它(或者文件的大小达到128 or)，才能写入HDFS文件。我使用Hive在读取时应用模式。不幸的是，结果的hive表只包含一个条目。这是正常的，因为Flume没有将新的数据写入文件(由Hive加载)。
是否有任何方式强迫Flume以近乎实时的方式将新的数据写入</
浏览 1提问于2018-10-16得票数 1
我尝试使用flume目录假脱机程序源和HDFS接收器。但这并没有达到我的目的，因为，文件是由Flume读取，然后作为可以按大小/时间滚动的部分文件写入HDFS (如果我弄错了，请纠正我)。有没有一个工具可以持续地对转储到spool目录中的所有文件执行HDFS之类的操作？
浏览 3提问于2015-09-28得票数 1
我已经配置了flume来读取日志文件并写入HDFS。当我启动水槽时，会读取日志文件，但它不会写入HDFS。= memory
agent1.sinks.sink1.type = hdfs
#agent1.sinks.sink1.hdfs.path = hdfs://sandbox.hortonworks.com:8020/hdfs/Suriya/
浏览 3提问于2015-08-04得票数 1
回答已采纳
假设有一群生产者将avro记录(具有相同的模式)写入到Kafak主题中。 我可以使用Flume Kafka Source读取这些记录并将它们写入HDFS吗？即使记录不是使用Flume Sink发布的？
浏览 21提问于2019-09-13得票数 1
回答已采纳
1回答
我有一个巨大的20 to文件要复制到Hadoop/HDFS中。当然，我需要管理任何错误情况(如果服务器或传输/加载应用程序崩溃)。
浏览 5提问于2016-05-31得票数 0
回答已采纳
java.io.FileNotFoundException: File does not exist: /log1/20131025/2013102509_at1.1382659200021.tmp at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.openInfoFlume
浏览 2提问于2013-10-25得票数 2
1回答
我可以查看由Flume应用程序放置在HDFS上的文件-
sudo -u flume hadoop fs -cat tweets/2015/05/06/15/FlumeData.1430952817762hdfs://quickstart.cloudera:8020/user/flume/tweets: Permission denied: user=flume, access=WRITE,
浏览 2提问于2015-05-07得票数 2
1回答
目前，我们已经使用了rsyslog(写入tcp端口)，php脚本将这些日志写入到rsyslog。我们在每个we服务器上运行一个本地代理，这些本地代理监听tcp端口，并将数据直接放入hdfs中。因此localhost:tcpport是“水槽源”，而"hdfs“是水槽接收器。对于上述方法，我不太清楚，我混淆了三种方法：
方法1:每台机器上的Web、RSyslog & Flume代理和在hadoop集群中的Namenode上运行的Flume收集器，收集数据并
浏览 2提问于2014-04-03得票数 3
回答已采纳
2回答
首先，我在考虑如何将事件放入Hadoop，并对事件进行定期分析(可能会使用Ooozie来安排定期分析) Kafka或Flume，并决定Kafka可能是一个更好的解决方案，因为我们也有一个组件进行事件处理我发现可以把水槽和卡夫卡结合使用
Camus的Kafka=>HDFS管道。
浏览 1提问于2014-11-04得票数 6
回答已采纳
我正在尝试用Flume在HDFS中写入数据。a1.sinks.k1.hdfs.path = /etc/flume/conf/Dataa1.sinks.k1.hdfs.fileType每次输入后，我都会从启动代理的窗口中收到以下消息：
16/03/23 10:19:16 INFO hdfs.BucketWriter:
浏览 0提问于2016-03-23得票数 0
我正在使用Flume将一些CSV文件从本地文件系统写入HDFS。我需要在这些值上添加什么来模拟我想要的行为？hdfs.batchSize = x
hdfs.rollSize = x
浏览 3提问于2015-05-07得票数 5
回答已采纳
我们目前正在建立一个Apache系统，它收集事件数据并将其写入我们的HDInsight HDFS集群中的文件。在验证初始设置时，hdfs ls在Flume写入文件时显示文件大小为0，但是当文件滚动时(以及删除.tmp文件扩展名)，文件大小突然跳起。对于HDFS或HDInsight (或WASB)，在Flume写入文件时，文件大小是否为0？
浏览 3提问于2016-02-25得票数 3
回答已采纳
我尝试使用Flume 1.7将数据加载到HDFS中。我创建了以下配置：Name491,491我面临的问题是，没有任何错误，flume是写到hdfs</
浏览 0提问于2016-11-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
