首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Hue安装

Hue安装

作者头像
数据仓库晨曦
发布2024-01-08 15:42:32
发布2024-01-08 15:42:32
8020
举报
文章被收录于专栏:数据仓库技术数据仓库技术

服务器分配

内网IP

主机名

功能

10.*.*.127

master

NameNodesecondaryNameNodeDataNode

10.*.*.118

slave1

DataNodeHue

10.*.*.96

slave2

DataNodemysqlHive

前言

Hue和hive等安装不同,需要进行编译安装,所以安装起来较为复杂。具体安装步骤:

  1. 依赖包安装
  2. 安装npm
  3. 安装hue
  4. 集群文件修改
  5. hue配置
  6. hue初始化
  7. 启动hue服务

1.依赖包安装

代码语言:javascript
复制
yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel rsync maven

2.安装npm

2.1下载node国内镜像

代码语言:javascript
复制
wget https://npm.taobao.org/mirrors/node/v10.14.1/node-v10.14.1-linux-x64.tar.gz

2.2解压安装,移动到/usr/local目录下

代码语言:javascript
复制
tar -xvf  node-v10.14.1-linux-x64.tar.gz
mv node-v10.14.1-linux-x64 node
mv node /usr/local

2.3修改环境变量

代码语言:javascript
复制
vim /etc/profile

在最后面添加

代码语言:javascript
复制
export NODE_HOME=/usr/local/node  
export PATH=$NODE_HOME/bin:$PATH

刷新环境变量

代码语言:javascript
复制
source /etc/profile

测试

代码语言:javascript
复制
node -v
nmp -v

显示如下

3.安装Hue

3.1解压安装包

将hue的安装包上传到服务器上,然后进行解压

代码语言:javascript
复制
unzip  hue-release-4.5.0.zip

3.2编译Hue包

进入hue-release-4.3.0目录,然后进行编译安装

代码语言:javascript
复制
cd  hue-release-4.5.0
PREFIX=/opt/moudle make install

编译完成之后,会在/opt/moudle目录生成一个hue文件夹

如果编译失败,重新编译安装前需要进入/opt/moudle 目录,把生成的hue文件夹删除

4.集群文件修改

修改配置前,停掉hadoop集群和hiveserver2,配置完成之后,重启hadoop集群会自动改为安全模型,需要手动离开安全模式。

4.1停掉hadoop集群和hiveserver2

进入master的/usr/hadoop-2.10.2/sbin目录下,停掉hadoop

代码语言:javascript
复制
cd /usr/hadoop-2.10.2/sbin/
./stop-all.sh

进入slave2机器

代码语言:javascript
复制
ps -ef|grep hiveserver2

查看对应的进程,然后kill掉

代码语言:javascript
复制
kill -9 25835

以下内容在master机器上进行配置,配置后分发到各个机器是

4.1在 hdfs-site.xml 中增加配置

代码语言:javascript
复制
cd /usr/hadoop-2.10.2/etc/hadoop
vim hdfs-site.xml

文件最后加入

代码语言:javascript
复制
<!-- HUE -->
<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>

4.2在 core-site.xml 中增加配置

代码语言:javascript
复制
vim core-site.xml

增加以下配置内容

代码语言:javascript
复制
 <!-- HUE -->
<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hdfs.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hdfs.groups</name>
  <value>*</value>
</property>

4.3httpfs-site.xml 文件,加入配置

代码语言:javascript
复制
vim httpfs-site.xml

增加以下内容

代码语言:javascript
复制
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
<!-- HUE -->
<property>
  <name>httpfs.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>httpfs.proxyuser.hue.groups</name>
  <value>*</value>
</property>

4.4分发配置文件

代码语言:javascript
复制
scp hdfs-site.xml slave1:/usr/hadoop-2.10.2/etc/hadoop
scp hdfs-site.xml slave2:/usr/hadoop-2.10.2/etc/hadoop
scp core-site.xml slave1:/usr/hadoop-2.10.2/etc/hadoop
scp core-site.xml slave2:/usr/hadoop-2.10.2/etc/hadoop
scp httpfs-site.xml slave1:/usr/hadoop-2.10.2/etc/hadoop
scp httpfs-site.xml slave2:/usr/hadoop-2.10.2/etc/hadoop

4.5重新启动hadoop集群

代码语言:javascript
复制
cd /usr/hadoop-2.10.2/sbin
./start-all.sh

4.6离开安全模式

在master机器上执行

代码语言:javascript
复制
hadoop dfsadmin -safemode leave

以下内容在slave1上执行

5.hue配置

5.1配置文件

进入conf目录

代码语言:javascript
复制
cd /opt/moudle/hue/desktop/conf

复制一份HUE的配置文件,并修改复制的配置文件

代码语言:javascript
复制
cp pseudo-distributed.ini.tmpl pseudo-distributed.ini

修改配置文件

代码语言:javascript
复制
vim pseudo-distributed.ini
代码语言:javascript
复制
#[desktop]
http_host=slave1
http_port=8000

time_zone=Asia/Shanghai

server_user=hue
server_group=hue
default_user=hue

hadoop_conf_dir=/usr/hadoop-2.10.2/etc/hadoop

app_blacklist=search

engine=mysql
host=slave2
port=3306
user=root
password=密码

6.hue初始化

6.1.在slave2上(mysql数据库上创建hue数据库实例)

代码语言:javascript
复制
mysql -uroot -p

进入mysql之后执行

代码语言:javascript
复制
create database hue;

6.2 在slave1上进行初始化

代码语言:javascript
复制
cd /opt/moudle/hue
build/env/bin/hue syncdb
build/env/bin/hue migrate

7.启动hue服务

代码语言:javascript
复制
groupadd hue
useradd -g hue hue
# 在hue安装路径下执行
build/env/bin/supervisor

浏览器登录http://slave1:8000/ 显示如下

输入一个用户名和密码,点击创建用户按钮,需要等待一会儿。进入页面显示如下

8.整合Hadoop、Hive、Mysql

修改hue的配置文件

代码语言:javascript
复制
cd /opt/moudle/hue/desktop/conf
vim pseudo-distributed.ini

hadoop

代码语言:javascript
复制
fs_defaultfs=hdfs://master:9000
webhdfs_url=http://master:50070/webhdfs/v1
hadoop_conf_dir=/usr/hadoop-2.10.2/etc/hadoop

resourcemanager_host=master
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://master:8088
proxy_api_url=http://master:8088
history_server_api_url=http://master:19888

hive

代码语言:javascript
复制
hive_server_host=slave2
hive_server_port=10000
hive_conf_dir=/usr/local/hive/conf

mysql

代码语言:javascript
复制
mysql
nice_name="My SQL DB"
name=hue
engine=mysql
host=slave2
port=3306
user=root
password=密码

重启之后,浏览器进入,输入之前创建的用户名和密码,登录后显示如下

完工

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-04-23,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据仓库技术 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档