【MapReduce】配置&作业管理

十里桃花舞丶

发布于 2021-09-10 11:25:10

5060

配置&作业管理

mapreduce的配置文件为：mapred-site.xml。配置内容分为配置MapReduce运行程序、配置History-Server。

MapReduce任务编写完成后，打包为Jar包形式，便可以使用客户端对任务进行提交。

提交作业的基本命令为：

# hadoop  jar  {jarFile}  [mainClass]  args
  -jarFIle: MapReduce运行程序的jar包
  -mainClass: jar包中main函数所在类的类名
  -args: 程序调用需要的参数，如：输入输出路径

这里使用官方自带的MapReduce案例包来完成作业提交：

cd $HADOOP_HOME/share/hadoop/mapreduce
# 计算圆周率，第一个

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2021/08/27 ，如有侵权请联系 cloudcommunity@tencent.com 删除