1回答
从的一些答案中，Flume和Sqoop都可以从源中提取数据并推送到Hadoop。有谁能说明一下在哪里使用水槽和sqoop在哪里？两者都可以用于相同的任务吗？
浏览 6提问于2014-11-27得票数 3
回答已采纳
我的木偶基础设施看起来有点像这样：做这件事最好的方法是什么？我想我希
浏览 0提问于2015-08-24得票数 1
回答已采纳
1回答
我在教程中找到了下一段如果您没有将这些包包含在Cygnus包中，则需要在APACHE_FLUME_HOME/plugins.d/cygnus/libext下安装以下软件包：OrionHDFSSink dependencieshive-service-0.12.0.jar
hive-common-0.12.0.jar
浏览 3提问于2014-06-13得票数 2
回答已采纳
2回答
+ exec /usr/bin/java -Xmx20m -cp '/etc/flume/apache-flume-1.4.0-bin/conf:/etc/flume/apache-flume-1.4.0cygnusagent.sinks.mysql-sink.mysql_host = 127.0.0.1
cygnusagent.sinks.mysql-sink
浏览 3提问于2015-05-19得票数 2
回答已采纳
要求是将Hadoop中的数据迁移到MySQL /HBase进行分析。还有什么是更好的方法。
浏览 2提问于2012-05-11得票数 2
回答已采纳
cygnus-ngsi.sources.http-source.channels = mysql-channel# the FQDN/IP address where the MySQL server runs
cygnus-ngsi.sinks.mysql-si
浏览 2提问于2018-04-30得票数 4
-0] (org.apache.flume.conf.FlumeConfiguration$AgentConfiguration.addProperty:1016) - Processing:mysql-sink-0] (org.apache.flume.node.AbstractConfigurationProvider.loadChannels:205) - Created channel mysql-channel-0] (org.apache.flume.node.Application.st
浏览 4提问于2015-12-17得票数 1
回答已采纳
我可以为窗口配置一个代理，但是对于web服务器、日志和代理之间的连接，我有一个困惑。2:启动flume.bat文件时。它正在生成下面提到的异常的flume.log文件。org.apache.flume.conf.ConfigurationException:没有为接收器配置的通道: hdfssink at org.apache.flume.conf.sink.SinkConfiguration.configure(SinkConfiguration.
浏览 5提问于2014-03-07得票数 1
1回答
我正在使用flume来收集日志。除了日志之外，flume还支持哪些其他格式，如excel、CSV和word doc等，或者仅限于日志？flume可以连接到关系数据库吗？
关于Chhaya
浏览 2提问于2014-02-14得票数 0
= memorycygnus-ngsi.channels.mysql-channel.transactionCapacity= 100
cygnus-ngsi.sinks.mysql-sink.mysql_host = localhostcygnus-ngsi.sinks.mysq
浏览 2提问于2017-11-17得票数 2
1回答
我一直在尝试使用APACHE KAFKA和FLUME将数据流式传输到MySQL数据库。(这是我的flume配置文件)agent.channels=channel1agent.channels.channel1.brokerList=localhost:9092
agent.channel
浏览 14提问于2017-02-20得票数 1
回答已采纳
(我们正在使用flume-ng-sql源从水槽中抽取100个事件/Sec，每个源的大小约为1KB)。Exception follows. at org.apache.flume.sink.AbstractRpcSink.processat org.apache.flume.sink.AbstractRpcSink.verifyConnection(AbstractRpcSi
浏览 3提问于2015-08-14得票数 1
回答已采纳
5回答
我试图在Ubuntu16.04上作为systemd服务运行flume，并在/etc/systemd/system/flume-ng.service中使用以下内容Description=ApacheFlume
ExecStart=/usr/bin/nohup /opt/flume/current/bin/flume-ng agent -c /
浏览 0提问于2016-11-07得票数 47
回答已采纳
: NettyAvroRpcClient { host: ec2-54-221-143-114计算-1.amazonaws.com，端口: 41414 }：RPC连接错误在org.apache.flume.api.NettyAvroRpcClient.connectflume.sink.AvroSink.createConnection(AvroSink.java:182) at org.apache.flume.sink.AvroSink.start(AvroSink.java:242) at org.apache.<e
浏览 2提问于2014-08-09得票数 0
虽然这违反了Flume的基本设计原则，但我有一个问题。这有可能保持源和宿之间的连接并重用吗？我们使用HTTP源、文件通道和Kafka接收器，并使用该配置，由于每个事件的源和接收器的重新连接，因此无法获得预期的吞吐量。
那么，是否有可能对多个事务重用相同的HTTP和Kafka连接？
浏览 1提问于2015-11-18得票数 2
我是这个话题的新手，我使用过基于推送的方法，它是有效的，但不知何故，使用基于拉的方法，它抛出了接收器连接error.Maybe，我可能会遗漏一些东西。Flume is配置详细信息如下所示sink.channel=memorysink.port=9999 SparkConf conf = new SparkConf().
浏览 0提问于2015-09-23得票数 0
在水槽中，我有卡夫卡频道，在那里我可以读写数据.如果用阿夫罗源和阿夫罗水槽代替卡夫卡源和卡夫卡水槽，卡夫卡通道读写数据的性能有什么不同？
浏览 4提问于2015-11-23得票数 0
回答已采纳
说我们可以将命名的管道跟踪到Flume，但是这似乎需要cygwin，而且我们不太可能在所有的Flume节点上安装cygwin。下一个示例将数据从一个程序导入到Flume中，然后由Flume来传递数据。，您可以将数据写入命名管道，并让Flume使用文本或尾从命名管道读取数据。;'
我还发现了关于的讨论，克劳代拉的人似乎认为这是可能的，但没有具体解释Flume将如何连接到管道，以及在这种情况下它是否充当服务器或客户端。客户端需要一个命名管道服务器才能运行，并且客户
浏览 4提问于2011-07-19得票数 1
回答已采纳
我搞不懂为什么Flume数据在使用文件通道时是可恢复的，而在使用内存通道时是不可恢复的。
我尝试了Kafka接收器，当我在阅读时放下Flume时，Kafka正确地读取了通道中的数据(文件)。重新启动Flume后，管道将继续以可靠的方式传送数据。那么为什么内存通道是不可恢复的呢？在这种情况下，我需要恢复通道中的数据？，特别是当Flume开始从保存的偏移量读取文件时。
浏览 0提问于2017-08-03得票数 0
2回答
带有avro记录的Kafka
、、、、
当我运行我的flume使用者时，它开始将数据存入hdfs。问题是数据的格式是: schema data schema data模式数据数据
我猜这是因为flume期望的记录类型是{header} {body}，而来自kafka的数据将只是{body有没有办法处理这个主题，这样每次flume将数据转到hdfs时，就不会有多个模式写入数据？
浏览 0提问于2015-03-01得票数 2
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号