命令列出HADOOP 2.x中的映射器和缩减器的数量
Hadoop是一个开源的分布式计算框架，主要用于存储和处理大规模数据集。在Hadoop 2.x版本中，映射器（Mapper）和缩减器（Reducer）是Hadoop MapReduce模型中的两个重要组件。映射器负责将输入数据分解为一系列键值对，缩减器则将映射器输出的中间结果进行汇总和处理。
在Hadoop 2.x中，映射器和缩减器的数量可以通过以下命令进行列出：
- 打开终端或命令行界面。
- 运行以下命令：
hadoop job -list该命令将列出当前正在运行或已完成的Hadoop作业。其中包括作业的ID、名称以及映射器和缩减器的数量。通过查找你感兴趣的作业，可以找到相应的映射器和缩减器的数量。
请注意，以上命令假定你已经正确安装和配置了Hadoop，并且有适当的权限来执行该命令。
在云计算领域，腾讯云提供了一系列与Hadoop相关的产品和服务。其中包括：
- 腾讯云Hadoop集群（Tencent Cloud Hadoop Cluster）：提供了高性能、可扩展的Hadoop集群，可用于大数据处理和分析。详细信息请参考：腾讯云Hadoop集群产品介绍
- 腾讯云数据仓库（Tencent Cloud Data Warehouse）：基于Hadoop和Spark构建的弹性数据仓库，可用于存储和分析大规模结构化和非结构化数据。详细信息请参考：腾讯云数据仓库产品介绍
- 腾讯云弹性MapReduce（Tencent Cloud Elastic MapReduce）：提供了基于Hadoop和Spark的高性能、可扩展的分布式计算服务，可用于大数据处理和分析。详细信息请参考：腾讯云弹性MapReduce产品介绍
以上是对于Hadoop 2.x中映射器和缩减器数量的回答以及腾讯云相关产品的介绍。
相关·内容
我试图将多个输入目录中的多个文件合并为一个文件，出于各种奇怪的原因，我将不再赘述。我最初的尝试是编写一个'nul‘映射器和reducer，它只是将输入复制到输出，但失败了。我最新的尝试是：
vcm_hadoop lester jar /vcm/home/apps/hadoop/contrib/streaming/hadoop-*-streaming.jar -input /cruncher/201004/08/17/00 -output /lcuffcat9 -mapper /bin/cat -reducer NONE
但我最终还是得到了多个输出文件。有人知道我怎样才能把所有东西都转换
浏览 0提问于2010-04-09得票数 0
回答已采纳
我正在尝试通过流在Hadoop上运行一个简单的python mapreduce脚本。映射器部分加载一个json文档，从一个属性中读取文本，并将文本中的每个单词用1表示，稍后将由脚本的缩减部分求和。代码在Hadoop之外运行得很好。一旦提交到Hadoop，映射就会失败，并显示"ValueError: No Json object map be decoded“。错误行是带有"json.loads()“函数的那行。我完全被这事难住了。我正在尝试运行的Hadoop生态系统是安装了Python2.6.6的HortonWorks沙箱。其他人也遇到过类似的问题吗？
浏览 1提问于2015-11-04得票数 0
4回答
我有份工作给hadoop。当作业被声明时，我已经启动了一些映射器。每个映射器都会将一些文件写入磁盘，比如part-m-00000、part-m-00001。据我所知，每个映射器创建一个零件文件。我有大量的数据，所以必须有多个映射器，但我能以某种方式控制这个输出文件的数量吗？我的意思是，hadoop将启动，例如10个映射器，但将只有三个部分文件？
我找到了这篇文章的，但有使用旧版本的hadoop库。我使用的是org.apache.hadoop.mapreduce中的类，而不是org.apache.hadoop.mapred中的类。*
我使用的是hadoop版本0.20，hadoop-core:1
浏览 0提问于2013-07-19得票数 1
回答已采纳
1回答
我正在hadoop上运行一些map reduce任务。映射器用于生成数据，因此不依赖于hdfs块的位置。为了测试我的系统，我使用了2个节点和一个主节点。我正在使用yarn在hadoop-2.0上进行测试。
我发现hadoop有一些非常不舒服的地方。我已经将它配置为运行8个地图任务。不幸的是，hadoop在一个节点上启动了所有8个map任务，而另一个节点几乎是理想的。有4个减速器，它也不平衡这些减速器。当发生这种情况时，它确实会导致很差的性能。
我在作业跟踪器和任务跟踪器的mapred-site.xml中都设置了这些属性
<property>
<name>map
浏览 3提问于2014-02-08得票数 1
2回答
在计算卸载方面，我正在工作或者是一个非常独特的解决方案，我可以用c++/java中的自定义编程来很好地完成这个任务，但是我正在搜索在hadoop或任何其他框架中也可以这样做吗？我找了很多东西，但没有什么值得我找到的。
正如我们所知道的，使用 map 和 reduce 阶段制作的普通hadoop作业都运行在具有几乎相同功率的机器上，对于map阶段，我们不需要电源，它可以被卸载到像RaspberryPI这样的廉价商品硬件上，而reduce应该在强大的机器上运行。
那么，是否有可能隔离这两个阶段，并使它们具有机器感知能力呢？
浏览 1提问于2015-10-15得票数 0
回答已采纳
我正在尝试在Hadoop上执行一个map reduce程序。
当我向hadoop单节点集群提交作业时。正在创建作业，但失败，并显示消息
“容器被ApplicationMaster杀死”
使用的输入大小为10MB。
当我使用输入文件400KB的相同脚本时，它成功了。但对于大小为10MB的输入文件失败。
我的终端中显示的完整日志如下所示。
15/05/29 09:52:16 WARN util.NativeCodeLoader: Unable to `load native- hadoop library for your platform... using builtin-java c
浏览 2提问于2015-05-29得票数 15
回答已采纳
Hadoop是如何决定。针对特定问题运行的reducers？它在什么基础上决定是否像no.of分割器一样。集群大小还是什么？解释下面的问题-我有640MB的输入文件，我有64MB的块大小。我的集群大小是5节点集群。我已经将我的输入文件写入HDFS，它有10个数据块。如果我对写入的输入文件运行我的wordcount程序，那么告诉我有多少个Mapper和多少个reducers将运行。
浏览 1提问于2013-08-27得票数 0
在Hadoop中，所有映射器输出都存储在本地磁盘中(而不是HDFS中)。任何Hadoop作业都有可能没有reducer。
在这种情况下，映射器输出仍然存储在本地磁盘中吗？如果输出存储在本地磁盘上，可靠性如何？如果没有可用的reducer，有没有办法将映射器输出存储在HDFS上？
感谢和问候，KB Devaraj
浏览 0提问于2015-07-23得票数 1
我有一个Spark 1.1.0集群，有三台不同功率的机器。当我运行start-all.sh脚本并检查UI时，我列出了所有从设备和主设备。列出了每个worker (它们具有不同的核心数量)，其中列出了正确的核心数量，但注意到使用的是零。
cores
4 (0 Used)
2 (0 Used)
8 (8 Used)
Ssh已经设置好并且可以工作了，hadoop看起来也不错。8核的机器是主机器，所以所有提交的作业都只在那里运行。我看到它在web UI中执行，但其他工作人员从未被分配工作。
浏览 1提问于2014-11-20得票数 1
我有这样一份Hadoop的工作。MR只有map，没有reduce。因此设置job.setNumReduces(0)。输入文件是关于300+的
然后我运行作业，我只能看到一个地图任务在运行。它大约需要1个小时才能完成。然后我检查结果，我可以在输出文件夹中看到300+结果文件。
有什么问题吗？或者这是正确的事情？
我真的希望Map应该等于输入文件的数量(而不是1 )。我也不知道为什么输出文件num和输入文件num一样。
hadoop作业是从oozie提交的。
非常感谢你的帮助。新松
浏览 0提问于2013-10-29得票数 0
我需要在我的Mac的Hadoop本地模式的一些Hadoop MR代码的原型，我想听到一些可能的陷阱。
一个特别的问题是关于映射器和减法器的数量。基本上这将是两种情况下的一种？指定超过1就可以了吗？我将使用较小的样本。
浏览 0提问于2012-05-13得票数 0
回答已采纳
出于负载平衡的原因，我希望在Hadoop环境中创建比缩减更多的分区。有没有一种方法可以将分区分配给特定的缩减程序?如果有，我可以在哪里定义它们。我写了一个单独的分区程序，现在想用特定的分区来处理一个特定的缩减程序。
提前感谢您的帮助！
浏览 1提问于2013-04-26得票数 0
回答已采纳
当组合器完全运行时，尽管您在驱动程序代码中提到了组合器类，但仍然由hadoop决定是否应该在每个映射器输出上运行它。您能解释一下hadoop是基于什么来决定这个合并器作业的执行吗？
浏览 1提问于2014-01-30得票数 0
我正在使用单节点hadoop作业进行一些数据准备。我的作业中的映射器/组合器输出了许多键(超过5M或6M)，显然作业进行得很慢，甚至失败。映射阶段最多运行120个映射程序，并且只有一个缩减程序(它们是自动确定的，我没有为它们设置任何值)。我希望优化作业，以便更高效地进行混洗/排序阶段。我将mapreduce.task.io.sort.mb增加到300m，但作业失败，因为它的值大于映射器堆。然后，我将mapred.child.java.opts设置为-Xmx1024m，但它再次失败，因为它无法初始化输出收集器。这些场景的最佳实践是什么？
浏览 2提问于2015-12-10得票数 9
目前我有一个有3个节点的Hadoop集群(Ubuntu) 我想运行带有Hadoop流的python /R脚本，但是我不确定仅仅执行HS是否真的能使所有节点工作 如果可能，请告诉我在群集上运行流的方向 谢谢
浏览 21提问于2020-04-25得票数 0
2回答
当我们将以下命令作为hadoop mapreduce流的一部分运行时
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streamingxxxx.jar -input cities.txt -output streamout -mapper /bin/cat -reducer 'grep -i CA‘
1)基于Java的mapreduce作业是否在后台运行？
浏览 1提问于2017-08-05得票数 1
2回答
每次运行Hadoop程序时，我都需要更改映射器和减法器的数量。有没有办法从命令行(当我运行程序时)将映射器和缩减程序的数量传递给我的程序，然后使用args检索它？
浏览 8提问于2013-05-28得票数 4
我使用Mahout0.7的MatrixMultiplicationJob来乘以一个大的矩阵。但它总是使用一个map任务，这使得它变得很慢。这可能是由于InputSplit强制将映射器的数量设置为1。
有没有一种方法可以在Hadoop / Mahout中高效地乘以矩阵或更改映射器的数量？
浏览 0提问于2012-10-04得票数 2
回答已采纳
1回答
我有一个用C++编写的相对简单的程序，并且我一直在为MapReduce作业使用Hadoop流(我的Hadoop版本是Cloudera)。
最近，我发现很多流媒体任务一直在失败，任务跟踪器在任务跟踪程序重启它们的同时成功地完成了这些任务。我跟踪了用户日志，发现一些MapReduce任务似乎没有输入。具体而言，错误消息看起来如下所示：
HOST=null
USER=mapred
HADOOP_USER=null
last Hadoop input: |null|
last tool output: |TCGA-06-0216-0000024576-0000008192 0 27743
浏览 0提问于2012-04-30得票数 0
回答已采纳
我是Cloudera和Hadoop的新手，Cloudera 1.0示例(part-00000)的输出是空的。我使用的步骤和文件是。我想提供任何工作日志信息将有所帮助，同样的版本-我只需要一些指导，在哪里找到他们。下面是作业输出和源代码。在写入的其他部分(part-00001到part-00011)中，非空部分是part-00001 (再见1)、part-00002 (Hadoop 2)、part-00004 (再见1)、part-00005 (World 2)和part-00009 (Hello 2)。任何帮助都是很棒的。
以下是命令和输出：
[me@server ~]$ hadoop fs
浏览 0提问于2013-11-13得票数 1
1回答
我有一个长时间运行的MapReduce作业，其中一些映射器比其他映射器占用的时间要多得多。
检查web界面上的统计数据，我看到我的组合器也启动了reducers (它大部分都是空闲的，因为只有2个mapper还在运行)。
尽管在所有映射器完成之前不浪费时间并执行一些预聚合似乎是合理的，但我找不到任何关于此行为的文档。是否有人能确认这确实是Hadoop的一项功能，或者只是在web界面上显示错误？
浏览 4提问于2015-05-05得票数 2
2回答
我是Hadoop的新手。我已经成功地在伪分布式模式下配置了hadoop设置。现在我想知道选择map和reduce任务数量的逻辑是什么。我们指的是什么？
谢谢
浏览 2提问于2013-05-07得票数 2
我正在建立一个hadoop集群，其中的节点都是相当异构的，即每个节点都有不同数量的内核。目前，我必须手动编辑每个节点上的mapred-site.xml以填充{cores}
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>{cores}</value>
</property>
当我添加新节点时，有没有更简单的方法来解决这个问题？其他大多数值都是一些默认值，最大映射任务数是唯一随节点变化的值。
浏览 4提问于2013-04-26得票数 5
2回答
我们计划将现有的应用程序迁移到hadoop。我们目前正在使用许多查找表/文件作为参考。
在hadoop生态系统中存储此类表/文件的最佳选择应该是什么
1)创建配置单元/hbase查找表是否需要单独的mr作业才能加入此查找文件？
2) HDFS文件使用了引用查找
我们还应该决定查找表的大小吗？
浏览 0提问于2013-11-15得票数 1
我是hadoop yarn的新手，希望reducers在完成所有地图之前开始实际的缩减过程。我试图找出调用缩减程序的类，但找不到。在这方面，有没有人可以帮我？
浏览 1提问于2015-07-15得票数 1
我正在使用Hortonworks的沙盒VM来运行Hadoop服务。我在Tez模式下执行了一个Pig过滤器脚本。我看错地方了吗？
浏览 3提问于2016-11-11得票数 0
有人能解释一下hadoop是如何决定将作业传递给map和reduce的吗？Hadoop作业被传递到map和reduce上，但我不能弄清楚它是如何完成的。
提前谢谢。
浏览 0提问于2015-06-06得票数 0
我刚刚使用Hadoop 0.20.205设置了一个Hadoop集群。我有一个主机(NameNode和JobTracker)和另外两个盒子(从机)。
我正在尝试理解如何定义要使用的map和reduce任务的数量。
到目前为止，我知道我可以使用*mapred.tasktracker.map.tasks.maximum*和*mapred.tasktracker.reduce.tasks.maximum*来设置每个TaskTracker能够同时处理的最大map和reduce任务数。
此外，我还可以定义使用*mapred.map.tasks*时整个集群可以同时运行的映射任务的最大数量。是那么回事吗？
如
浏览 0提问于2013-12-03得票数 1
1回答
带钱包进口
、、、、
在Cloudera CDH 5.8.5中使用Sqoop v1.4.6，我们面临一些与钱包使用有关的问题。我们的设想是：
用户文件夹：/home/myuser
钱包文件夹：/home/myuser/wallet (cwallet.sso，cwallet.sso.lck，ewallet.p12，ewallet.p12.lck，sqlnet.ora，tnsnames.ora)
钱包配置得很好，就好像我跑了一样。
sqlplus /@MY_TNS_NAME
我不需要密码就可以连接到数据库。
问题在于sqoop。我可以连接到数据库，并使用以下方法列出里面的所有表：
export HADO
浏览 8提问于2017-09-26得票数 0
回答已采纳
我是hadoop的新手，我逐渐熟悉map-reduce编程的风格，但现在我面临一个问题:有时我只需要map来完成一项工作，我只需要直接将map结果作为输出，这意味着在这里不需要reduce阶段，我如何才能做到这一点？
浏览 0提问于2012-02-22得票数 43
回答已采纳
1回答
我是大数据和NOSQL领域的新手，我正在尝试一个示例程序
我正在尝试从我的mongo数据库中获取详细信息.Following是我的数据库模式--
{ "_id" : ObjectId("51d11c95e82449edcf7640bc"), "Called_Number" : NumberLong("7259400112"), "Calling_Number" : NumberLong("9008496311"), "Date" : "22-Apr-13", &#
浏览 4提问于2013-07-01得票数 0
也许这是个愚蠢的问题。但不管怎样。
我如何理解辅助namenode做了一些事情(我的意思是它可以工作)，我必须配置它来做一些事情？
默认情况下，MapReduce中的作业也是并行运行的，我的意思是你在MR中的程序总是并行运行的？
我提出这些问题是因为我必须证明(我有一个项目要做) hadoop上的作业是并行运行的。
提前谢谢你。
附言:对于我糟糕的英语，我很抱歉，希望我能被理解。
浏览 1提问于2013-06-18得票数 0
回答已采纳
在hadoop中，使用n个映射器和n个reduce，或者使用n个映射器和1个reduce有什么区别。在使用1个reduce的情况下，reduce阶段由哪台计算机(映射器)组成，如果我有3台计算机
浏览 24提问于2018-01-26得票数 0
在Hadoop流中-- Mapper和Reducer都是用python编写的--让Mapper进程使用multiprocessing模块会有帮助吗？或者，调度程序是否阻止Mapper脚本在计算节点上的多个线程上运行？
浏览 28提问于2019-09-24得票数 0
回答已采纳
在Hadoop中，reduce任务什么时候开始？它们会在某个百分比(阈值)的映射器完成后开始吗？如果是，这个阈值是固定的吗？通常使用哪种阈值？
浏览 0提问于2012-07-26得票数 83
回答已采纳
我有一个R脚本，它在R Colsole中工作得很好，但当我在Hadoop streaming中运行时，它失败了，在映射阶段.Find任务尝试日志中出现以下错误
我拥有的Hadoop流命令：
/home/Bibhu/hadoop-0.20.2/bin/hadoop jar \
/home/Bibhu/hadoop-0.20.2/contrib/streaming/*.jar \
-input hdfs://localhost:54310/user/Bibhu/BookTE1.csv \
-output outsid -mapper `pwd`/code1.sh
stderr日志
浏览 0提问于2013-07-03得票数 0
1回答
我是hadoop的初学者&当我运行hadoop作业时，我注意到进度日志显示了map，减少了80%，减少了25%。我对地图约简的理解是，映射器产生了一堆中间值。在映射器生成输出后，就会出现洗牌/中间对的排序&这些值被发送来减少作业。有人能解释一下地图/还原是如何并行工作的吗？
浏览 3提问于2013-11-15得票数 0
回答已采纳
以下哪一项是运行map reduce作业的区别
/bin/hadoop -jar /file.jar input output
并在eclipse中导入jars并运行代码？
浏览 0提问于2012-04-08得票数 1
回答已采纳
即使以非map/reduce方式实现Hadoop Job对我来说没有任何意义，我也需要为我在大学的项目实现它
Hadoop Job如何以非map/reduce身份运行？仅仅将reducers设置为0就足够了吗？
job.setNumreduceTasks(0)
还是有另一种方法？
我的应用程序可以很好地使用mapper和reducer类，计数问题得到了解决(类似于世界计数，但以生物学的方式)。
浏览 2提问于2020-01-07得票数 0
我正在使用Apache Pig对Hadoop集群执行一些数据分析工作。我在hadoop集群中部署了一个集合节点和32个从节点。但是，当我使用Pig在mapreduce模式下运行脚本并连接到Hadoop集群时，它始终只启动一个map和一个reduce。如何将Pig或Hadoop设置为使用所有32个从机？
作业状态如下：
Job Stats (time in seconds):
JobId Maps Reduces MaxMapTime MinMapTime AvgMapTime MedianMapTime MaxReduceTime MinReduceTime Avg
浏览 0提问于2016-03-13得票数 1
我有一个map reduce作业，它从一个累积表中获取数据，执行一个操作，然后将结果存储在另一个累积表中。我有下面的映射器，组合器和缩减器。
class PivotTableMapper extends Mapper<Key, Value, Text, Text> {
@Override
public void map(Key k, Value v, Context context) {
// Doing something here...
context.write(Text Text);
}
}
class PivotT
浏览 0提问于2016-01-18得票数 0
关于我的问题，我有一个用Python编写的流进程。
我注意到每个Reducer通过sys.stdin获取与多个键相关联的所有值。
我更希望sys.stdin只与一个键相关联。使用Hadoop可以做到这一点吗？我认为每个键的不同进程将是完美的，但找不到提供此行为的配置。
有没有人可以帮我提供信息或代码来帮助我呢？
浏览 2提问于2013-04-09得票数 0
回答已采纳
Hadoop框架是如何调用映射器或reducer类的run()方法的？框架调用run()方法，但是它需要一个上下文对象，那么Hadoop是如何传递该对象的呢？什么信息驻留在该对象中？
浏览 1提问于2013-05-02得票数 5
回答已采纳
我有大约170 GB的数据。我必须使用hadoop 2.7.3对其进行分析。有14名工人。我必须找到每个文档的唯一MIME类型的总数，例如，文本/html类型的文档总数。当我运行mapreduce作业(用python编写)时，Hadoop返回许多输出文件，而不是我期望的单个输出文件。我认为这是由于许多工作者分别处理一些数据并给出输出。我想要得到单一输出。问题出在哪里？如何限制hadoop提供单一输出(通过组合所有小的输出文件)。
浏览 0提问于2017-02-23得票数 1
2回答
我可以在我的/usr/local/hadoop/logs路径上看到所有hadoop日志
但是我可以在哪里看到应用程序级别的日志呢？例如：
mapper.py
import logging
def main():
logging.info("starting map task now")
// -- do some task -- //
print statement
reducer.py
import logging
def main():
for line in sys.stdin:
logging.info("r
浏览 0提问于2011-10-26得票数 2
回答已采纳
3回答
我目前正在运行一个hadoop oozie作业。输出文件是自动生成的。输出文件的预期数量只有一个；但是，有两个名为part-r-00000和part-r-00001的输出文件。有时，第一个(part-r-00000)有数据，第二个(part-r-00001)没有。有时，第二个有数据，第一个没有。有人能告诉我为什么吗？另外，如何将输出文件设置为part-r-00000？
浏览 0提问于2016-02-27得票数 0
3回答
我有一个相当简单的hadoop问题，我将尝试用一个示例来说明
假设您有一个字符串列表和一个大文件，并且希望每个映射器在一个类似grep的程序中处理文件的一部分和一个字符串。
你该怎么做呢？我的印象是，映射器的数量是inputSplits生成的结果。我可以运行后续的作业，每个字符串对应一个作业，但看起来有点...一团糟？
编辑:我实际上并不是要构建一个grep map reduce版本。我用它作为一个例子，一个映射器有两个不同的输入。假设我列出了A和B，并希望映射器处理列表A中的1个元素和列表B中的1个元素
因此，如果问题没有遇到会导致需要链接作业的数据依赖性，那么我唯一的选择是以某种方式共享所
浏览 2提问于2010-04-28得票数 2
1回答
当前设置
mysql connector version-mysql-connector-java-5.1.13
sqoop version-sqoop-1.4.6
hadoop version-hadoop-2.7.3
java version- Jdk-8u171-linux-x64/jdk1.8.0_171(oracle JDK)
OS-Ubundu
注意:我也尝试过使用openjdk，这个版本也存在同样的问题。Sqoop命令: bin/sqoop import -connect jdbc:mysql://localhost:3306/testDb -username根目录-passwo
浏览 2提问于2018-05-03得票数 1
3回答
我正在使用mapred.reduce.tasks = 100运行一个hadoop作业(只是实验)。生成的贴图数量为537，因为这取决于输入拆分。问题是并行“运行”的reducers的数量不会超过4个，即使在地图100%完成之后。有没有办法增加减速器的运行数量，因为CPU使用率不是最优的，而且减量非常慢。
我还设置了mapred.tasktracker.reduce.tasks.maximum = 100。但这似乎不会影响并行运行的减速器的数量。
浏览 1提问于2012-11-06得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
