可下载CDH5版本的Hadoop
下载地址:https://archive.cloudera.com/cdh5/cdh/5/hadoop-latest.tar.gz
具体安装过程可参考官网的单节点的集群安装:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
下载Flume,这里用CDH5的Flume
下载地址:https://archive.cloudera.com/cdh5/cdh/5/flume-ng-latest.tar.gz
解压:tar -zxvf flume-ng-latest.tar.gz -C /opt/
进入到解压后Flume目录,这里是/opt/flume-ng-latest
进入到conf目录
cd /opt/flume-ng-latest/conf
复制一份配置模板文件
cp flume-env.sh.template flume-env.sh
修改配置文件flume-env.sh
vim flume-env.sh
添加 export JAVA_HOME=$JAVA_HOME
到flume-env.sh
将Flume配置到环境变量中
这里Flume的路径是在/opt/flume-ng-latest
打开bash环境变量
vim ~/.bash_profile
在最后一行加上如下的语句
export FLUME_HOME=/opt/flume-ng-latest
export PATH=$FLUME_HOME/bin:$PATH
使用source 或者 . 命令使环境变量生效
source ~/.bash_profile
至此,Flume环境配置完毕
使用如下的命令测试Flume是否安装成功,如成功显示Flume版本,则表示安装成功
flume-ng version
具体安装步骤可参考Kafka官网的QuicktStart
http://kafka.apache.org/quickstart
下载Sqoop,这里用CDH5的Sqoop
下载地址:https://archive.cloudera.com/cdh5/cdh/5/sqoop-latest.tar.gz
解压Sqoop
tar -zxvf sqoop-latest.tar.gz -C /opt/
Sqoop 自身不提供MySQL的驱动,所以我们要想使用Sqoop连接MySQL还需要下载一个MySQL的连接器
下载地址:https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.12.tar.gz
我们只需要里面的mysql-connector-java-8.0.12.jar文件,所以只需要解压里面的这个jar就好,这里我们直接解压这个jar放到Sqoop的lib目录下
tar -zxvf mysql-connector-java-8.0.12.tar.gz ./mysql-connector-java-8.0.12/mysql-connector-java-8.0.12.jar && mv ./mysql-connector-java-8.0.12/mysql-connector-java-8.0.12.jar /opt/sqoop-latest/lib/
配置Sqoop到环境变量中
这里Sqoop是在/opt/sqoop-latest
打开bash环境变量文件
vim ~/.bash_profile
在最后一行加上如下的语句
export SQOOP_HOME=/opt/sqoop-latest
export PATH=$SQOOP_HOME/bin:$PATH
使用source 或者 . 命令使环境变量生效
source ~/.bash_profile
测试Sqoop是否配置成功
使用sqoop-version
这个命令,如果成功显示Sqoop版本信息,表示成功
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。