如下所示TwitterAgent.sources = Twitter TwitterAgent.sinks = HDFSTwitterAgent.channels.MemChannel.capacity = 10000TwitterAgent.channels.MemChannel.transactionCapacity = 100TwitterAgent.sinks.HDFS.channel= MemChannel
TwitterAgent.sinks.
浏览 2提问于2016-01-19得票数 0
3回答
我正在尝试从集群外部(HDFS apis)在HDFS中创建一个文件，如下所示： conf.set("mapred.job.tracker", "192.168.56.101:54310");
FileSystem(DFSClie
浏览 4提问于2014-03-30得票数 0
我正在尝试在分布式模式下设置apache演练。我已经有了cloudera集群和一个主服务器和两个奴隶。从apache演练的文档来看，还不清楚是否可以使用典型的cloudera集群来设置它。我找不到任何相关的文章。任何帮助都将不胜感激。
浏览 1提问于2015-02-20得票数 3
回答已采纳
基本上，我使用docker-compose设置了以下Hdfs集群： IP为192.168.1.1的节点1部署了如下服务： Namenode1:9000ZooKeeper1:1291 IP为192.168.1.2的节点2部署了如下服务： Namenode2:9000
ZooKeeper2:1291 Traefik / Ngnix -(入口控制器)如何将请求转发到两个配置了相同端口号的不同服务
浏览 28提问于2020-08-29得票数 1
回答已采纳
使用托管在172.16.53.31:8787的R-hadoop，我尝试将文件从HDFS导入到托管在172.16.53.31:54331的H2O (最初是54321)。
发生此错误。
浏览 2提问于2014-07-07得票数 0
我使用过这个网站：请给我一些建议。: fs.defaultFS is hdfs://localhost:9000
2016-02-05 07:24:28,142 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: addJerseyResourcePackage: packageName=org.apache.hadoop.hdfs.server.namenode.web.resources;org.
浏览 0提问于2016-02-04得票数 0
回答已采纳
我使用了以下属性来减少死节点超时。dfs.heartbeat.recheck.interval但是，当我从集群中删除datanode时，未从hadoop中删除的详细信息cluster.It仅在该集群中处于死节点状态
浏览 1提问于2015-07-02得票数 1
在执行此操作时，我需要提供位置，如Hadoop、名称、节点、IP地址和端口号。 TYPE = HADOOP,
LOCATION ='hdfs://10.xxx.xx.xxx
浏览 4提问于2016-11-28得票数 0
1回答
我在hdfs上使用了sparksql。当我运行一个大型查询时，hdfs似乎是在节点之间向spark slaves发送数据。为什么HDFS不为本地数据提供本地spark服务？我甚至还设置了spark.locality.wait=10000。谢谢,
浏览 1提问于2015-09-10得票数 0
我已经在两台机器上设置了hadoop集群。一台机器同时具有主和从-1。第二台机器有slave-2。当我使用start-all.sh启动集群时，我在secondarynamenode的.out文件中得到以下错误：
java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "ip-10-179-185-169/10.179.185.169&
浏览 1280提问于2017-06-23得票数 0
1回答
在当前的工作流中，数据被读取，转换成序列文件，处理后的小文件以序列文件的形式输出到HDFS。然而，非Hadoop算法无法理解序列文件。这里的问题是，对于最后一个作业，我必须从HDFS读取Sequence Files，并将其写入要由非Hadoop算法处理的每个节点的本地文件系统。为了完成图，我使用Yarn设置了10个节点Hadoop。在Hadoop Yarn模式下，有没有办法从HDFS中读取数据，并将结果写入每个处理节点的本地文件系统？
谢谢
浏览 20提问于2017-08-21得票数 2
在Hadoop FsShell (或hdfs命令)中是否有命令行来查看文件的拆分，或者查看文件在放入HDFS时是如何在数据节点上被拆分的？
浏览 1提问于2015-03-19得票数 0
回答已采纳
经过一番挣扎之后，我终于成功地在伪分布式节点中使用hadoop，namenode和jobtracker工作得非常完美(在http://localhost:50070和http://localhost:50030/webapps/hdfs to /tmp/Jetty_0_0_0_0_50070_hdfs____w2cu08/webapp at org.ap
浏览 7提问于2013-08-16得票数 1
回答已采纳
1回答
core-site.xml <name>fs.defaultFS</name> </property>( 1) 50070 ->查看hd
浏览 5提问于2017-04-14得票数 2
回答已采纳
property> <name>dfs.replication</name></property>
</configuration> 上面是我的hdfs-site.xml
浏览 7提问于2020-08-19得票数 0
4回答
haduser@user-laptop:/usr/local/hadoop$ bin/hadoop dfs -copyFromLocal /tmp/input
11/12/14 14:21:01 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1
浏览 2提问于2011-12-14得票数 7
因此，我按照这个指南安装多节点集群:当我完成所有安装并运行start-dfs.sh时，当我运行jps时，只有启动了SecondaryNameNode。以下是我的核心站点<property> <value>hdfs://mynode1/</value><description>NameNode URI</desc
浏览 2提问于2014-10-26得票数 0
回答已采纳
我们有4个datanode集群，当我查看datanode信息时，...there是每个数据节点大约98 of ...but上可用的大量空间。它只使用了10 of的空间.<property> <value>/test/hadoop/hadoopinfra/hdfs/
浏览 5提问于2017-01-18得票数 0
HDFSEventSink.java:455)] HDFS IO erroragent1.sinks.PurePathSink.hdfs.fileType= DataStream
agent1.si
浏览 7提问于2017-07-20得票数 0
回答已采纳
1. namenode和jobtracker名称2.所有节点及其在群集上的角色列表
浏览 25提问于2016-07-24得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
