Sqoop简介
Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目。
Sqoop下载
最新的官方版本为1.4.7下载地址如下
http://mirror.bit.edu.cn/apache/sqoop/1.4.7/
解压
tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz sqoop
配置环境变量
export SQOOP_HOME=/home/ubuntu/sqoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SQOOP_HOME/bin
cd sqoop/conf
cp sqoop-env-template.sh sqoop-env.sh
测试数据库连接
sqoop list-tables --connect jdbcUrl --username test --password 'test'
导入数据到hdfs中
sqoop import jdbcUrl --username 用户名 --password '密码' --table 表名 --columns "user_name,phone" --target-dir /test -m 1