windows搭建hadoop分布式系统架构

week

发布于 2018-08-24 01:53:04

65800

代码可运行

文章被收录于专栏：用户画像用户画像

运行总次数：0

代码可运行

1、下载hadoop的安装包：http://hadoop.apache.org/->Releases->mirror site

2、解压安装包：将下载包解压到指定目录，并添加环境变量；解压出来一个目录：D:\hadoop-3.1.0，将bin路径配置到环境变量中。

然后下载window相关支持工具类，https://share.weiyun.com/5RPjxnh，解压后把文件全部copy到D:\hadoop-2.9.0\bin目录，将hadoop.dll再复制到c:/windows/System32目录

3、修改配置文件

配置Java_home环境变量

文件地址：D:\hadoop-3.1.0\etc\hadoop下的D:\hadoop-3.1.0\etc\hadoop\hadoop-env.cmd

注意事项：hadoop配置不识别空格需要加引号，"C:\Program Files" \Java\jdk1.8.0_91

不然在后续操作会报错

去D:\hadoop-2.9.0\etc\hadoop找到下面4个文件并按如下最小配置粘贴上去：

core.site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>