零基础搭建分布式集群的几个方法

大家好，许久没更新了，这段时间忙着换工作和交接过度（对，换工作了）；另一方面，这段时间试着搭建了一下分布式集群，本来打算跟大家详细分享一下，由于是零基础，中间还有好多没弄清楚，所以先简单分享几种安装思路：

搭建Hadoop、Spark分布式集群，前面的几步一样：

• 装虚拟机，我用的是Vmware Workstation，装Ubuntu或CentOS系统；
• 开启系统的root用户；
• 复制若干台虚拟机；
• 每台都安装ssh，实现这若干台虚拟机的免密码通信。

之后：

你可以纯手动来安装、利用Ambari半自动安装、或者利用CDH安装

1. 手动安装

• 安装配置Java
• 安装配置Hadoop
• 安装配置Spark

这里面涉及了linux下的软件安装、环境配置添加/修改等等。分享一个教程，非常适合零基础：http://down.51cto.com/zt/6876/1

2. Ambari半自动安装

• 下载ambari
• yum命令进行安装：yum install ambari-server
• 配置ambari：ambari-server setup
• 启动ambari：ambari-server start
• 在浏览器中部署集群，菜单式操作

分享的教程是：http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/

3. CDH 自动安装

先下载CDH，下载之后执行，基本就是全自动安装。但是之前要做几个配置，比如关闭防火墙，设置SELINUX=disabled等，分享的教程是：http://www.cnblogs.com/Nervermore/p/4994309.html

4. 其他

hadoop docker cluster：https://github.com/kiwenlau/hadoop-cluster-docker

并没有尝试过。

由于我也是零基础的初学者，只能分享分享搜集的资料，欢迎大家交流，求老司机带带路

（手动安装datanode始终没能开启、ambari安装卡在web页面的comnfirm host，提示ambari agent host cannot reach ambari server '<主机名>:8080'）