2回答
我有一个在2个节点(主节点和从节点)上运行的Hadoop集群，每个节点都有126 32的RAM和32个CPU。当我运行集群时，我只能看到每个节点8 GB的内存。我如何增加这个值呢？每个节点分配的最优内存是多少?如何分配？
浏览 6提问于2015-04-11得票数 2
我正在尝试设置和使用一个4节点的Hadoop集群。设置似乎进行得很好，因为一切都在主节点和从节点上运行。然而，当我尝试运行我的代码时，它花费的时间与我在单个节点上运行它所需的时间大致相同。此外，任何从节点上的CPU活动都没有增加。谢谢
浏览 3提问于2015-03-27得票数 1
1回答
我在具有3个节点(1个主节点和2个从节点)的Hadoop集群上按顺序运行三个MapReduce作业(其中一个是对另一个的输入)。我使用Hadoop流，我的代码在python2.7中。
浏览 0提问于2013-12-28得票数 0
回答已采纳
最近，我用很少的ARM开发板构建了一个多节点Hadoop2.5.0集群，我无法决定是否应该使用相同类型的主板，是否应该使用更快的arm板作为主板，或者是否应该使用桌面作为主程序来管理从节点？在同一个集群中拥有比从节点更快的主节点有什么好处吗？
除了增加RAM的好处外，主节点CPU性能的提高是否重要？
浏览 3提问于2014-08-25得票数 0
回答已采纳
我在上创建了两个集群，该集群读取100 GB的数据。集群I: 1主内存- 15 GB内存- 250 GB磁盘10节点- 7.5 GB内存- 200 GB磁盘Q2:增加</e
浏览 1提问于2018-07-19得票数 7
回答已采纳
1回答
我试图通过“启动点击部署软件”在中安装hadoop集群，.I创建了一个主节点和一个从节点，并尝试使用主节点中的start-all.sh脚本启动集群，而我得到了“拒绝权限(公开密钥)”。我在从节点和主节点中都生成了公钥和私钥。
目前，我用用户名登录了主用户，是否必须以"hadoop“用户.If的身份登录主用户，那么，该userid的密码是
浏览 2提问于2014-11-11得票数 1
回答已采纳
我安装了Ganglia来监视HBase集群。我在用ganglia-3.3.0。Hadoop版本：hadoop-1.1.2
我更改了hbase/conf/hadoop-metrics.properties文件。hbase
浏览 1提问于2015-02-16得票数 1
回答已采纳
1回答
spark.yarn.submit.waitAppCompletion=true,<s3 location of pyspark script>],ActionOnFailure=CONTINUE
conf = SparkConf().setAppName('Project').set("spark.jars", "&#x
浏览 7提问于2020-03-23得票数 0
1回答
我已经在3个节点、1个主节点和2个-slave节点上安装了hadoop。在主节点上，其中一个从节点具有相同的hadoop路径，即/home/hduser/hadoop，但在一个从节点上，它是不同的，即/usr/hadoop
因此，当从主namenode和jobtarcker/start-all.sh时，d
浏览 0提问于2013-05-24得票数 1
2回答
对于hadoop集群中的Datanode是如何为作业的约简函数运行java代码，我感到困惑。例如，hadoop如何将java代码发送到另一台计算机执行？
或者减少函数是在主节点上运行，而不是在数据节点上运行？帮助我跟踪这段代码，其中主节点将用于还原函数的java
浏览 12提问于2016-01-18得票数 0
回答已采纳
我是Hadoop / Pig的新手，我刚刚开始阅读文档。我知道Pig运行在Hadoop之上。
我的问题是: Hadoop安装在所有集群节点上。我是应该在所有集群节点上也安装Pig，还是只在主节点上安装Pig？
浏览 3提问于2018-06-11得票数 0
我最近正在学习Amazon，据我所知，EMR集群允许我们选择3个节点。
Master，它运行主要的Hadoop守护进程，如NameNode、作业跟踪器和资源管理器。我问你们为什么EMR会提供任务节点？正如hadoop所建议的，我们应该在同一个节点上拥有Datanode守护进程和Tasktracker守护进程。亚马逊这么做背后的逻辑是什么？您可以将数据保存在S3流中，将其保存到核心节点上，在HDFS上进行处理，而不是将数据从HDFS共享到任务节点，这
浏览 6提问于2017-01-07得票数 23
我将使用AWS CloudFormation设置一个Hadoop集群。一些Hadoop助手脚本需要建立从主节点到从节点的无密码ssh连接(使用文件'etc/hadoop/slaves')。通常，这可以通过生成ssh密钥对并将主节点的公钥附加到从节点~/.ssh/authorized来实现。但是如何使用亚马逊网络服务的CloudFormati
浏览 2提问于2015-08-07得票数 1
2回答
我已经在我的机器(Windows)上安装了Hadoop-0.20.2。我尝试使用主节点和从节点来设置节点集群。但是我无法连接这些机器。存在密码身份验证错误。
如何解决这个问题？如果可能，请为我提供一个合适的链接，以便在Hadoop中设置多个集群。
浏览 2提问于2011-12-22得票数 1
1回答
可以在任意一个集群节点上引导一个Hadoop应用程序，不相关地引导到节点类型上吗？应该只在其中一个节点上引导吗？是否将代码移动到接近数据的适当节点？是否用于移动代码？< code >G29</code>在每个已安装的Hadoop节点上，都应该显式地分配主节点，方法是将fs.default.name of core-site.xml设置为Namenode，将但是，不能显式地分
浏览 1提问于2011-12-16得票数 3
我打算开发一个web服务，它可以与Hadoop主节点对话，执行一些任务。这些任务包括: 1.启动和停止hadoop集群2.从hadoop集群3中添加和删除从节点。但是请告诉我如何从我的web服务中调用Hadoop。包括在类路径中的Hadoop罐子够了吗？我想我也需要一些配置。请指导我在web服务和Hadoop集群之间建立一个简单的调用流程。
浏览 0提问于2011-02-26得票数 0
3回答
有人能给我解释一下hadoop中Edge节点的架构吗？我只能在互联网上找到定义，我有以下问题-
1)边缘节点必须是集群的一部分吗(如果它在集群内，我们有什么优势？)它是否在hdfs中存储任何数据块。2)边缘节点可以在集群外吗？
浏览 5提问于2013-05-22得票数 12
我想了解以下几个术语：到目前为止，我所了解的是火花主是工作执行者，并处理所有的火花工人。而hadoop是hdfs (我们的数据所在)，火花工作者根据给他们的任务读取数据。如果我错了，请纠正我。
我还想了解namenode和datanode的角色。datanodes是同一个hadoop节点吗？
浏览 6提问于2016-05-05得票数 1
当试图通过从节点(Datanodes)访问HDFS中的数据时，在3节点上安装了cloudera cdh4。当我试图在HDFS中创建新文件夹时，请使用
命令无法从任何一个从节点在集群的hdfs中放置数据或创建文件夹，但是从主节点工作，也可以从主节点、水槽、蜂箱、猪所有其他进程运行在从(Datanodes)尝试重新启动集群namenode格式仍
浏览 6提问于2013-10-23得票数 0
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
