1. 服务器准备 1 主机名 1.1 修改hostname
hostnamectl set-hostname ambari
1.2 vi /etc/hosts
192.168.3.212 192-168-3-212.baicheng.com
192.168.3.133 192-168-3-133.baicheng.com #创建ambari用户,密码ambari
192.168.3.134 192-168-3-134.baicheng.com
192.168.3.135 192-168-3-135.baicheng.com
192.168.3.136 192-168-3-136.baicheng.com
192.168.3.137 192-168-3-137.baicheng.com
192.168.3.138 192-168-3-138.baicheng.com
192.168.3.139 192-168-3-139.baicheng.com
2 防火墙
systemctl disable firewalld
systemctl stop firewalld
3 selinux 临时关闭:
setenforce 0
永久关闭:
vi /etc/sysconfig/selinux #修改配置文件需要重启机器
SELINUX=disabled
查看SELinux状态:
sestatus
4 免密 其中ambari对其他6台服务器以及本服务器(ambari)进行免密登录
ssh-keygen -t rsa
ssh-copy-id 192.168.200.128
5 时间同步
yum install ntpdate
ntpdate ntp1.aliyun.com
注意: 建议硬盘50G以上
192.168.80.144 ambari01 #部署Ambari-server和Mirror server
192.168.80.145 ambari02 #部署Agent
192.168.80.146 ambari03 #部署Agent
192.168.80.147 ambari04 #部署Agent
2. 应用包准备 1. jdk jdk-8u151-linux-x64.tar.gz http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2. mysql mysql-5.6.33-linux-glibc2.5-x86_64.tar https://www.mysql.com/downloads/ 3. Python2.6/2.7 #centos自带 4. HDP-UTILS HDP-UTILS-1.1.0.21-centos7.tar.gz http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz 5. HDP HDP-2.6.3.0-centos7-rpm.tar.gz http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz 6. ambari ambari-2.6.0.0-centos7.tar.gz http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz 7. hdp.repo http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP.repo 8. ambari.repo http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari.repo 3. 部署安装 1. jdk安装 1.1 上传解压 1.2 配置jdk环境
export JAVA_HOME=/usr/local/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
1.3 同步到其他主机
scp -r /etc/profile root@ip:/etc/profile
scp -r jdk1.8.0_151 root@ip:`pwd`
1.4 环境变量生效
source /etc/profile
2. 制作本地源(Ambari节点上即可) 2.1 安装Apache HTTP服务器 (1) 安装http服务器
yum install httpd -y
firewall-cmd --add-service=http
firewall-cmd --permanent --add-service=http
(2) Apache服务自动启动
systemctl start httpd.service
systemctl enable httpd.service
2.2 安装本地源制作工具
yum install yum-utils createrepo -y
2.3 安装httpd网站 (1) 创建Ambari及HDP-UTILS
cd /var/www/html/
mkdir ambari
cd /var/www/html/ambari
mkdir HDP-UTILS
(2) 上传文件到 /var/www/html/ambari/
HDP-UTILS-1.1.0.21-centos7.tar.gz
HDP-2.6.3.0-centos7-rpm.tar.gz
ambari-2.6.0.0-centos7.tar.gz
(3) 解压
tar -zxvf ambari-2.6.0.0-centos7.tar.gz
tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz
mv HDP-UTILS-1.1.0.21-centos7.tar.gz /var/www/html/ambari/HDP-UTILS/
cd /var/www/html/ambari/HDP-UTILS/
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz
mv HDP-UTILS-1.1.0.21-centos7.tar.gz /var/www/html/ambari/
(4) 查看网站
http://192.168.3.133/ambari/
2.4 配置本地源 (1) 配置ambari.repo #url地址为解压文件中的路径 修改baseurl为:
baseurl=http://192.168.3.133/ambari/ambari/centos7/2.6.0.0-267
修改gpgkey为:
gpgkey=http://192.168.3.133/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
全部内容:
#VERSION_NUMBER=2.6.0.0
[ambari-2.6.0.0]
name=ambari Version - ambari-2.6.0.0
baseurl=http://192.168.200.10/ambari/ambari/centos7/2.6.0.0-267
gpgcheck=0
gpgkey=http://192.168.200.10/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
(2) 配置hdp.repo 修改HDP-2.6.3.0下baseurl为:
baseurl=http://192.168.3.133/ambari/HDP/centos7/2.6.3.0-235
修改HDP-2.6.3.0下gpgkey为:
gpgkey=http://192.168.3.133/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
修改HDP-UTILS-1.1.0.21下baseurl为:#注意,若版本号不一致,需要更改为当前版本号
baseurl=http://192.168.3.133/ambari/HDP-UTILS/
修改HDP-UTILS-1.1.0.21下gpgkey为
gpgkey=http://192.168.3.133/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
全部内容:
#VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.200.10/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=0
gpgkey=http://192.168.200.10/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.21]
name=HDP-UTILS-1.1.0.21
baseurl=http://192.168.200.10/ambari/HDP-UTILS/
gpgcheck=0
gpgkey=http://192.168.200.10/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
(3) 移动文件
mv ambari.repo /etc/yum.repos.d/
mv hdp.repo/etc/yum.repos.d/
更加yum源信息
yum clean all
yum list update
yum makecache
yum repolist
3. 安装Mysql Ambari安装会将安装等信息写入数据库,建议使用自己安装的Mysql数据库,也可以不安装而使用默认数据库PostgreSQL (1) MySql 安装A 获取Mysql
wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm
rpm -ivh mysql57-community-release-el7-8.noarch.rpm --nodeps --force
安装Mysql
yum install mysql-server
查看MySql状态
service mysqld status
启动服务
systemctl start mysqld
重置密码 MySQL5.7会在安装后为root用户生成一个随机密码,而不是像以往版本的空密码。 可以安全模式修改root登录密码或者用随机密码登录修改密码 MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到:
grep 'temporary password' /var/log/mysqld.log
修改密码:
mysql -u root -p
set global validate_password_policy=0;
set global validate_password_length=4;
set PASSWORD=PASSWORD('1234');
mysql> Enter password: (输入刚才查询到的随机密码)
mysql> update mysql.user set authentication_string=password('1234') where user='root'
mysql> exit
新密码登陆:
mysql -u root -p 1234
(2) 创建ambari数据库 创建ambari数据库以及ambariuser数据库用户并授权
create database ambari character set utf8 ;
CREATE USER 'ambariuser'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'ambariuser'@'%';
FLUSH PRIVILEGES;
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;
(3) 创建hive数据库 创建hive数据库以及hiveuser数据库用户并授权
create database hive character set utf8 ;
CREATE USER 'hiveuser'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'hiveuser'@'%';
FLUSH PRIVILEGES;
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;
(3) 安装jdbc驱动
yum install mysql-connector-java -y
4. 安装Ambari (1) 安装ambari服务
yum install -y ambari-server
(2) 执行安装
ambari-server setup
(3) 检查SELinux是否关闭,如果关闭不用操作
Using python /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled
(4) 自定义设置
Customize user account for ambari-server daemon [y/n] (n)? y
输入ambari-server账号,输入:ambari(ambari主机上创建的用户)
Enter user account for ambari-server daemon (root):ambari
选择JDK,输入:3 #.... 此处省略 Enter choice (1): 3 键入JDK PATH,输入:
/usr/local/jdk1.8.0_151
数据库配置,输入:y
Configuring database...
Enter advanced database configuration [y/n] (n)? y
选择数据库,输入:3 #.... 此处省略 Enter choice (1): 3 数据库具体配置信息,如果和默认相同直接回车(下面的IP代表数据库所在的节点)
Hostname (localhost): 192.168.3.212
Port (3306):
Database name (ambari):
Username (ambari): ambariuser
Enter Database Password (bigdata): 123456
Re-enter password: 123456
Configuring ambari database...
启动Ambari服务前,需要将Ambari的sql脚本导入数据库 用Ambari用户(上面设置的用户,无密码)登录mysql
mysql -u ambari -p
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
启动Ambari
ambari-server start
4. 集群配置 1. 登陆
http://192.168.3.133:8080/ admin/admin
2. 添加集群 2.1 集群设置 Launch Install Wizard 2.2 设置集群名称 2.3 设置HDP安装源 选择HDP2.6.3.0,使用Use Local Repository,选择redhat7,Base URL内容填写与HDP.repo中的URL地址一致 2.4 设计集群节点 Target Hosts中填入需要加入集群的主机名 点击“浏览”按钮,上传id_rsa文件(该文件需要从192.168.3.133节点中/root/.ssh/目录中获取) 2.5 主机确认 2.6 选择需要安装的服务 2.7 配置Slaves和Clients节点 2.8 用户服务配置 2.9 配置信息确认 2.10 安装
注意:安装Ambari-agent
yum install ambari-agent