服务器分配
内网IP | 主机名 | 功能 |
|---|---|---|
10.*.*.127 | master | NameNodesecondaryNameNodeDataNode |
10.*.*.118 | slave1 | DataNodeHue |
10.*.*.96 | slave2 | DataNodemysqlHive |
前言
Hue和hive等安装不同,需要进行编译安装,所以安装起来较为复杂。具体安装步骤:
1.依赖包安装
yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel rsync maven
2.安装npm
2.1下载node国内镜像
wget https://npm.taobao.org/mirrors/node/v10.14.1/node-v10.14.1-linux-x64.tar.gz2.2解压安装,移动到/usr/local目录下
tar -xvf node-v10.14.1-linux-x64.tar.gz
mv node-v10.14.1-linux-x64 node
mv node /usr/local2.3修改环境变量
vim /etc/profile在最后面添加
export NODE_HOME=/usr/local/node
export PATH=$NODE_HOME/bin:$PATH刷新环境变量
source /etc/profile测试
node -v
nmp -v显示如下

3.安装Hue
3.1解压安装包
将hue的安装包上传到服务器上,然后进行解压
unzip hue-release-4.5.0.zip3.2编译Hue包
进入hue-release-4.3.0目录,然后进行编译安装
cd hue-release-4.5.0
PREFIX=/opt/moudle make install编译完成之后,会在/opt/moudle目录生成一个hue文件夹
如果编译失败,重新编译安装前需要进入/opt/moudle 目录,把生成的hue文件夹删除
4.集群文件修改
修改配置前,停掉hadoop集群和hiveserver2,配置完成之后,重启hadoop集群会自动改为安全模型,需要手动离开安全模式。
4.1停掉hadoop集群和hiveserver2
进入master的/usr/hadoop-2.10.2/sbin目录下,停掉hadoop
cd /usr/hadoop-2.10.2/sbin/
./stop-all.sh进入slave2机器
ps -ef|grep hiveserver2查看对应的进程,然后kill掉

kill -9 25835以下内容在master机器上进行配置,配置后分发到各个机器是
4.1在 hdfs-site.xml 中增加配置
cd /usr/hadoop-2.10.2/etc/hadoop
vim hdfs-site.xml文件最后加入
<!-- HUE -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>4.2在 core-site.xml 中增加配置
vim core-site.xml增加以下配置内容
<!-- HUE -->
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hdfs.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hdfs.groups</name>
<value>*</value>
</property>4.3httpfs-site.xml 文件,加入配置
vim httpfs-site.xml增加以下内容
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
<!-- HUE -->
<property>
<name>httpfs.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>httpfs.proxyuser.hue.groups</name>
<value>*</value>
</property>4.4分发配置文件
scp hdfs-site.xml slave1:/usr/hadoop-2.10.2/etc/hadoop
scp hdfs-site.xml slave2:/usr/hadoop-2.10.2/etc/hadoop
scp core-site.xml slave1:/usr/hadoop-2.10.2/etc/hadoop
scp core-site.xml slave2:/usr/hadoop-2.10.2/etc/hadoop
scp httpfs-site.xml slave1:/usr/hadoop-2.10.2/etc/hadoop
scp httpfs-site.xml slave2:/usr/hadoop-2.10.2/etc/hadoop4.5重新启动hadoop集群
cd /usr/hadoop-2.10.2/sbin
./start-all.sh4.6离开安全模式
在master机器上执行
hadoop dfsadmin -safemode leave以下内容在slave1上执行
5.hue配置
5.1配置文件
进入conf目录
cd /opt/moudle/hue/desktop/conf复制一份HUE的配置文件,并修改复制的配置文件
cp pseudo-distributed.ini.tmpl pseudo-distributed.ini修改配置文件
vim pseudo-distributed.ini#[desktop]
http_host=slave1
http_port=8000
time_zone=Asia/Shanghai
server_user=hue
server_group=hue
default_user=hue
hadoop_conf_dir=/usr/hadoop-2.10.2/etc/hadoop
app_blacklist=search
engine=mysql
host=slave2
port=3306
user=root
password=密码6.hue初始化
6.1.在slave2上(mysql数据库上创建hue数据库实例)
mysql -uroot -p进入mysql之后执行
create database hue;6.2 在slave1上进行初始化
cd /opt/moudle/hue
build/env/bin/hue syncdb
build/env/bin/hue migrate7.启动hue服务
groupadd hue
useradd -g hue hue
# 在hue安装路径下执行
build/env/bin/supervisor浏览器登录http://slave1:8000/ 显示如下

输入一个用户名和密码,点击创建用户按钮,需要等待一会儿。进入页面显示如下

8.整合Hadoop、Hive、Mysql
修改hue的配置文件
cd /opt/moudle/hue/desktop/conf
vim pseudo-distributed.inihadoop
fs_defaultfs=hdfs://master:9000
webhdfs_url=http://master:50070/webhdfs/v1
hadoop_conf_dir=/usr/hadoop-2.10.2/etc/hadoop
resourcemanager_host=master
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://master:8088
proxy_api_url=http://master:8088
history_server_api_url=http://master:19888hive
hive_server_host=slave2
hive_server_port=10000
hive_conf_dir=/usr/local/hive/confmysql
mysql
nice_name="My SQL DB"
name=hue
engine=mysql
host=slave2
port=3306
user=root
password=密码重启之后,浏览器进入,输入之前创建的用户名和密码,登录后显示如下

完工