在macos+ubuntu系统安装hadoop

原创

shigen

修改于 2023-09-11 09:46:39

5520

文章被收录于专栏：shigen的学习笔记shigen的学习笔记

Hadoop

分布式计算平台，核心是分布式文件系统HDFS

macos下

安装

下载地址：Index of apache-local/hadoop/core/hadoop-3.3.0

使用

参考文章：Mac部署hadoop3(伪分布式) - 掘金

进入目录~/tools/hadoop-3.3.0/etc/hadoop，做以下设置：

查看java_home:

打开hadoop-env.sh文件，增加JAVA的路径设置：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home

打开core-site.xml文件，将configuration节点改为如下内容，设置本地文件系统的端口和临时文件存储位置：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>${user.home}/hadoop-tmp</value>
</property>

打开hdfs-site.xml文件，将configuration节点改为如下内容，设置文件副本的数量：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

打开mapred-site.xml文件，将configuration节点改为如下内容，使用 YARN 作为 MapReduce 框架：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

打开yarn-site.xml文件，将configuration节点改为如下内容：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

在目录hadoop-3.2.1/bin执行以下命令，初始化hdfs：

./hdfs namenode -format

初始化成功后，可见如下信息：

启动

进入目录hadoop-3.2.1/sbin，执行./start-dfs.sh启动hdfs：

遇到了以下问题，我烦死了

所以，在我的mac上安装的计划彻底放弃了，正当我以为我再也安装不了handoop的时候，我再次找了很多的教程，失败了很多次，最终按照这个文章成功的实现了：Linux(阿里云)安装Hadoop(详细教程+避坑)阿里云hadoop飞川撸码的博客-CSDN博客

ubantu下

安装jdk

wget https://repo.huaweicloud.com/openjdk/18.0.1.1/openjdk-18.0.1.1_linux-aarch64_bin.tar.gz
tar -zxvf openjdk-18.0.1.1_linux-aarch64_bin.tar.gz
mv jdk-18.0.1.1/ /usr/java18
echo 'export JAVA_HOME=/usr/java18' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile
java -version

这里手残选用了jdk18的版本，本来以为是jdk1.8的

安装hadoop

hadoop的安装包在清华云镜像下载的

tar -zxvf hadoop-3.3.4.tar.gz
ll
mv hadoop-3.3.4 /opt/hadoop
echo "export JAVA_HOME=/usr/java18" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java18" >> /opt/hadoop/etc/hadoop/hadoop-env.sh
hadoop version

配置Hadoop

修改Hadoop配置文件 core-site.xml。

vim /opt/hadoop/etc/hadoop/core-site.xml

在<configuration></configuration>节点内插入如下内容。

 <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/opt/hadoop/tmp</value>
    <description>location to store temporary files</description>
</property>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>

修改Hadoop配置文件 hdfs-site.xml。

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

在<configuration></configuration>节点内插入如下内容。

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/opt/hadoop/tmp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/opt/hadoop/tmp/dfs/data</value>
</property>

配置SSH免密登录

执行以下命令，创建公钥和私钥。

ssh-keygen -t rsa

将公钥添加到authorized_keys文件中。

cd ~
cd .ssh
cat id_rsa.pub >> authorized_keys

将hadoop添加到环境变量中。

vi /etc/profile

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

source /etc/profile