linux安装cdh5

基础概念

CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera公司提供的基于Apache Hadoop的商业发行版。CDH5是CDH的一个版本，包含了多个大数据处理组件，如HDFS、MapReduce、YARN、Hive、HBase等。

相关优势

1. 稳定性：CDH5经过广泛的测试和优化，具有较高的稳定性和可靠性。
2. 兼容性：与Apache Hadoop完全兼容，可以无缝集成其他开源组件。
3. 易用性：提供了一套完整的管理工具和监控系统，简化了集群的管理和维护。
4. 安全性：内置了多种安全机制，如Kerberos认证、数据加密等。

类型

CDH5主要分为两种类型：

1. CDH5 Express：适用于小型集群，安装简单，适合开发和测试环境。
2. CDH5 Enterprise：适用于大型生产环境，提供了更多的企业级特性和安全功能。

应用场景

CDH5广泛应用于大数据处理和分析场景，包括但不限于：

• 日志分析
• 数据挖掘
• 机器学习
• 实时数据处理
• 大规模数据存储和检索

安装步骤

以下是在Linux系统上安装CDH5的基本步骤：

1. 准备工作

首先，确保系统满足以下要求：

• 至少两个节点（一个主节点和一个从节点）
• 操作系统：CentOS 6.x或7.x
• 网络配置：节点之间可以互相通信

2. 安装JDK

CDH5需要Java环境，建议安装OpenJDK 7。

sudo yum install -y java-1.7.0-openjdk-devel

3. 配置SSH无密码登录

在主节点上生成SSH密钥，并将公钥复制到从节点。

ssh-keygen -t rsa
ssh-copy-id user@slave_node_ip

4. 下载并解压CDH5安装包

wget https://archive.cloudera.com/cdh5/cdh/5/cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz
tar -xzf cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz -C /opt

5. 安装Cloudera Manager

cd /opt/cloudera-manager-centos7-cm5.13.3
./bin/cmctl install_cluster --cm-host=master_node_ip --cm-user=admin --cm-pass=admin --cluster-name=MyCluster

6. 启动Cloudera Manager

/opt/cloudera-manager-centos7-cm5.13.3/bin/cmctl start_cm

7. 配置集群

通过浏览器访问Cloudera Manager的Web界面（通常是http://master_node_ip:7180），按照向导完成集群的配置和安装。

常见问题及解决方法

1. 网络连接问题

如果在安装过程中遇到网络连接问题，可能是防火墙或SELinux配置导致的。可以尝试关闭防火墙和SELinux：

sudo systemctl stop firewalld
sudo setenforce 0

2. 资源不足问题

如果节点资源不足，可能会导致安装失败。确保每个节点有足够的内存和磁盘空间。

3. 权限问题

在安装过程中可能会遇到权限问题，确保安装目录和文件具有正确的权限：

sudo chown -R root:root /opt/cloudera-manager-centos7-cm5.13.3

参考链接

• Cloudera官方文档
• 腾讯云大数据解决方案

通过以上步骤，你应该能够在Linux系统上成功安装CDH5，并开始使用它进行大数据处理和分析。