Spark开发环境搭建

1、软硬件环境 主机操作系统：windows 10, 64位 处理器：Intel(R) Core(TM)i5­7200U CPU @2.5GHz 2.70Hz 内存：8.0GB 虚拟软件：VMware Workstation 14 Pro 虚拟机操作系统：CentOS6.8(64位），双核，2G内存 虚拟机运行环境：hadoop­2.6.0.tar.gz、hbase­1.0.0­bin.tar.gz、jdk­7u80­linux­x64.tar.gz、scala2.10.4.tgz、spark­1.5.2­bin­hadoop2.6.tgz、zookeeper­3.4.6.tar.gz

2、集群网络环境

集群网络环境

3、系统设置 步骤1：关闭防火墙（root） chkconfig ­­level 2345 iptables off chkconfig ­­level 2345 ip6tables off /etc/init.d/iptables stop /etc/init.d/ip6tables stop

步骤2：配置主机名（root） vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=master hostname master #让主机名生效

步骤3：修改IP（root） eth0不需要修改 vim /etc/sysconfig/network­scripts/ifcfg­eth1 IPADDR=192.168.149.132 NETMASK=255.255.255.0 ONBOOT=yes BOOTPROTO=static

步骤4：配置Hosts文件（root） vim /etc/hosts 192.168.149.132 master 192.168.149.133 slave1 192.168.149.134 slave2

步骤5：配置同步时钟（root）

序号 IP地址 机器名 用户名 hadoop类型 zookeeper类型 hbase类型

1 192.168.149.132 master dong NameNode/Master

2 192.168.149.133 slave1 dong DataNode/Worker 3 192.168.149.134 slave2 dong DataNode/Worker

crontab ­e 0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org /usr/sbin/ntpdate cn.pool.ntp.org #手工同步

步骤6：安装JDK（root） A1：下载正确版本的JDK，需要1.7及以上版本 A2：解压JDK文件，并生成相应目录 mkdir /usr/java mv jdk­7u80­linux­x64.tar.gz /usr/java/ cd /usr/java tar ­zxvf jdk­7u80­linux­x64.tar.gz A3：配置环境变量,在文件未尾追加 vim /home/dong/.bash_profile export JAVA_HOME=/usr/java/jdk1.7.0_80 export PATH=$JAVA_HOME/bin:$PATH source /home/dong/.bash_profile A4：测试 java ­version

以下步骤在slave1和slave2节点上的root用户下重复操作

步骤7：免密钥登陆配置（dong） A1：master节点上通过下述命令生成密钥 ssh­keygen ­t rsa #所有确认项都直接回车，即空 A2：复制公钥文件 将其中的id_rsa.pub文件复制为authorized_keys文件，存放至~/.ssh中 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ls ­l A3：修改authorized_keys文件的权限 chmod 600 ~/.ssh/authorized_keys A4：将authorized_keys文件复制到slave1、slave2节点 scp ~/.ssh/authorized_keys dong@slave1:~/ scp ~/.ssh/authorized_keys dong@slave2:~/ A5：在slave1、slave2节点上执行以下命令，分别生成密钥 ssh­keygen ­t rsa mv authorized_keys ~/.ssh/ cd ~/.ssh chmod 600 authorized_keys A6：验证免密钥登录 在master节点执行： ssh slave1 ssh slave2