Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析
1. Sqoop的简单介绍
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。
2. sqoop1与sqoop2架构对比
- 1. sqoop1架构
- sqoop2架构
3. Sqoop原理
将导入或导出命令翻译成mapreduce程序来实现。 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。
4. Sqoop的安装过程
1. 上传并解压
- 1. 上传文档
- 2. 解压sqoop安装包到指定目录
[bigdata@hadoop002 software]$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/
// 修改文件夹名称
[bigdata@hadoop002 module]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop
2. 修改配置文件
Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录中。
- 1. 重命名配置文件
[bigdata@hadoop002 conf]$ mv sqoop-env-template.sh sqoop-env.sh
- 2. 修改配置文件
[bigdata@hadoop002 conf]$ vim sqoop-env.sh
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10
export HBASE_HOME=/opt/module/hbase
3. 拷贝JDBC驱动
拷贝jdbc驱动到sqoop的lib目录下
// 声明： 驱动在/opt/software/mysql-libs/mysql-connector-java-5.1.27/
[bigdata@hadoop002 mysql-connector-java-5.1.27]$ cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop/lib/4. 验证Sqoop
- 我们可以通过某一个command来验证sqoop配置是否正确
[bigdata@hadoop002 sqoop]$ bin/sqoop help
5. 测试Sqoop是否能够成功连接数据库
[bigdata@hadoop002 sqoop]$ bin/sqoop list-databases --connect jdbc:mysql://hadoop002:3306 --username root --password 199712
本次的分享就到这里了
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2020/06/09 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
腾讯云开发者
