1回答
我知道在部署模式下运行Nutch是基于Hadoop的分布式爬行，但是当我们在本地模式下运行它时，我不能完全理解。在这种情况下，Nutch是否独立于Hadoop？
浏览 0提问于2017-03-14得票数 0
3回答
从Eclipse MapReduce运行Hadoop WordCount程序和使用Mapreduce中预定义的jar文件运行它有什么不同(hadoop-mapreduce WordCount-2.6.0
浏览 1提问于2015-02-07得票数 0
0回答
我正在尝试将hadoop服务器设置为伪分布式，以允许map/reduce任务并行执行。这是我当前的配置，我必须编辑什么才能让hadoop运行并行映射任务/ reduce任务？(我使用start-dfs和start-yarn运行hadoop服务器)<configuration> <name>mapreduce.framework.name54311&quo
浏览 14提问于2017-01-09得票数 0
4回答
我的团队使用Hadoop库构建了一个Java应用程序，将一堆输入文件转换成有用的输出。考虑到当前的负载，一个多核服务器将在未来一年左右做得很好。我们还没有(还)需要一个多服务器Hadoop集群，但是我们选择启动这个“正在准备”的项目。输入数据由几个输入文件组成，因此Hadoop至少应该能够在映射阶段同时运行每个输入文件一个线程。
我应该如何至少让2个甚至4个活动线程运行(在这个应用程序的大部分处理时间中，这应该是可能的)？我刚刚发现了这个：，它实现了我在Hadoop0.21中寻找的特性，它引入了标志mapreduce.lo
浏览 4提问于2010-08-04得票数 7
回答已采纳
我有两个hadoop伪(独立)服务器，我为测试目的创建了这些服务器。现在，我想把这两个服务器合并到一个集群中，并使其成为主从配置。究竟是否有这个目标呢？提前谢谢。
浏览 5提问于2013-11-25得票数 0
回答已采纳
我试图以伪分发模式在我的pc上运行Hadoop2.2.0。不幸的是，我找不到任何关于如何在Hadoop2.2.0上配置伪分发模式的文档。因此，我学习了一些关于早期版本的教程，并且运行得很好。但是我想知道hadoop是在单节点模式还是伪分布模式下运行。有什么指标可以告诉我吗？
浏览 2提问于2013-12-31得票数 0
回答已采纳
我已经在伪分布式模式下成功地配置了hadoop设置。我需要在Hadoop MapReduce中完成两个特定的任务。
我有许多数据文件的格式如下。现在让我们来问我的问题:根据我目前的知识，hadoop框架旨在完成第二个任务。我可以映射键值(交换消息的两个用户名，消息的数量)，并减少它以获得给定期间(例如1周)的消息总数。但是第一个任务呢？当我做数据掩蔽的时候，没有减少操作，这不是hadoop的任务吗？我想并行地完成这个任务，但不能真正考虑应用hadoop来完成第一个任务。
浏览 11提问于2012-06-01得票数 2
回答已采纳
在独立模式下运行hadoop时，Eclipse的远程调试没有问题。但是，当我在伪分布式模式下运行hadoop时，它不起作用。下面是我如何在伪分布式模式下尝试使用hadoop进行eclipse远程调试：#added this line to enable remote debuggingHADOOP_OPTS="$HADOOP_OPTS -agentlib:jdwp=transport=dt_s
浏览 3提问于2012-08-31得票数 1
回答已采纳
1回答
并行化MapReduce
、、、、
我是第一次接触并行编程和Hadoop MapReduce。以下示例摘自教程网站。如何将MapReduce (应用并行编程)并行化到Mapper和Reducer中，使其可以同时运行，以及如何将多线程引入其中？package hadoop;
import java.io.IOException;import org.apache.hadoop.fs.Path;
import o
浏览 2提问于2017-05-01得票数 0
在Scala/Hadoop系统中充分利用多核进行并行处理的更好方法是什么？A)向每台机器发送1000个文档，并让Hadoop在10个核心中的每个核心上启动映射(或尽可能多地使用)B)向每台机器发送1000个文档(仍然使用Hadoop)，并使用Scala的并行集合来充分利用多核。(我会将所有文档放在一个并行集
浏览 5提问于2012-03-16得票数 1
回答已采纳
1回答
我并不是Hadoop的专家，但我的理解是Hadoop非常适合并行算法，在这种并行算法中，并行性要么是映射缩减形式，要么是其他类型的分而治之。
还有其他类型的算法技术也很适合吗？
浏览 0提问于2015-10-11得票数 1
回答已采纳
有人能告诉我Hadoop单机版和伪分布式版的数据流有什么区别吗？事实上，我正在尝试运行一个由John Norstad提出的矩阵乘法的例子。它在hadoop独立模式下运行良好，但在伪分布式模式下无法正常工作。我无法解决这个问题，所以请告诉我hadoop单机模式和伪分布式模式之间的原理差异，这对修复所述的problem.Thanks有帮助WL
浏览 1提问于2012-01-12得票数 1
hadoop是如何将这些块写入集群的。我的问题是hadoop是否遵循并行编写？还是块b必须等待块a写入集群？或块a和块b和块c并行写入hadoop集群.
浏览 2提问于2014-02-13得票数 2
我必须在hadoop 1.0.4中运行许多(可能12个)作业。我希望这五个作业首先并行运行，当所有作业都完成后，并行运行4个其他作业，最后再次运行最后3个作业以并行运行。我如何在hadoop 1.0.4中设置它，因为我看到所有作业都是彼此运行的，而不是并行运行的。
浏览 3提问于2013-04-10得票数 0
在我试验Hadoop的过去三个月里，我总是阅读关于映射器和还原器数量的教程和线程，并编写自定义分配器来优化作业，但我总是认为，它是否适用于单个节点集群？在这种情况下，通过拆分输入数据提供的并行性仍然适用吗？我认为，由于我的小经验，我不能清楚地回答这些问题，所以任何帮助都是非常感谢的！编辑:我知道Hadoop不适合于单个节点的设置，因为@TC1列出了所有的因素。那么，建立一个伪分布式Hadoop环境有什么好处呢？
浏览 0提问于2013-11-14得票数 5
回答已采纳
1回答
的映射程序，我得到的例外是：at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCal
浏览 4提问于2015-12-18得票数 4
我想安装hadoop并研究它，但是现在我只安装了一台带有ubuntu13.10的pc。在一个节点上安装hadoop及其服务有什么好方法吗？
浏览 7提问于2014-09-18得票数 0
回答已采纳
我正在遵循hadoop网站上的教程：https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-common/SingleCluster.html我在伪分布式模式下运行以下示例。time hadoop jar hadoop/share/hadoop/mapreduce/<em
浏览 23提问于2019-03-02得票数 2
回答已采纳
在hadoop中，伪模式和独立模式的确切区别是什么？
当我们在自己的笔记本/台式机上工作时，我们如何才能知道这一点呢？
浏览 5提问于2014-11-07得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
