sqoop 导入hbase - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

使用Sqoop从Postgresql中导入数据到HBase中

接前面的文章 “使用Sqoop从Postgresql中导入数据到Hive中”，今天看看怎样从 Postgresql 入数据到 HBase 中。...这里有一点需要注意的是 Sqoop 1.4.7 目前不支持 HBase 2.x，所以准备了一个 hbase 1.4.9 的环境来做测试。...配置进入 sqoop 的 conf 目录，修改 sqoop-env.sh 文件，如下： #Set path to where bin/hadoop is available export HADOOP_COMMON_HOME...导入数据使用项目的命令来向 HBase 导入数据 $ bin/sqoop import --connect jdbc:postgresql://localhost:5432/test --username...--m 1 导入数据后，登录到 hbase 中查看一下结果 $ bin/hbase shell hbase(main):001:0> list TABLE user 1 row(s) in 0.0330

2.3K5 0

Sqoop导入数据

一、Sqoop的简介 SQL To Hadop，目的是完成关系型数据库导入导出到Hadoop! Sqoop的原理是讲命令翻译为MR执行，MR没有Reduce阶段，只有Map阶段！...二、 Sqoop的安装1.配置环境可以在/etc/profile中配置，导出为全局变量或sqoop-env.sh 配置 HADOOP_HOME,HIVE_HOME,HBASE_HOME,ZOOKEEPER_HOME2...hbase 目前使用的sqoop1.4.6对应的是低版本的hbase,目前的1.3.0的hbase版本有点高！...在执行导入时，sqoop是可以帮我们自动建表，在使用1.3.0hbase时，建表会失败！建议手动建表！...t_emp \//如果表不存在，hbase自动建表--hbase-create-table \// 导入的表名--hbase-table "t_emp" \// mysql的哪一列作为rowkey--

2591 0

您找到你想要的搜索结果了吗？

是的

没有找到

sqoop导入hive

1.1hive-import参数使用--hive-import就可以将数据导入到hive中，但是下面这个命令执行后会报错，报错信息如下： sqoop import --connect jdbc:mysql...原因是因为sqoop导数据到hive会先将数据导入到HDFS上，然后再将数据load到hive中，最后吧这个目录再删除掉。当这个目录存在的情况下，就会报错。...1.2target-dir参数来指定临时目录为了解决上面的问题，可以把person目录删除掉，也可以使用target-dir来指定一个临时目录 sqoop import --connect jdbc:...-target-dir temp 1.3hive-overwrite参数如果上面的语句执行多次，那么会产生这个表数据的多次拷贝 1.4fields-terminated-by 当吧mysql中的数据导入到...hdfs中，默认使用的分隔符是空格 sqoop import --connect jdbc:oracle:thin:@172.17.x.xxx:1521:ORCL --username ICO -

7221 0

sqoop数据导入总结

其他相关文章：元数据概念 Sqoop主要用来在Hadoop(HDFS)和关系数据库中传递数据,使用Sqoop,我们可以方便地将数据从关系型数据库导入HDFS,或者将数据从关系型数据库导入HDFS,或者将从..." --target-dir "/test/sqoop/table" -m 1 --as-textfile 说明:使用一个map任务将t_user这个表的数据从数据库中导入到--target-dir指定的...注意:从oracle中导入数据时,table的表命必须要大写,否则会报该table找不到的错误. 2)按条件将表数据导入 sqoop import --connect jdbc:mysql://192.168...参数来指定某个切分字段, 3.sqoop导入原理 1)导入原理 sqoop在导入过程中,需要使用--split-by指定的字段进行数据切分.sqoop会去最大和最小split-by字段值,然后根据-m.... 2)sqoop转化sql 对于上文中使用sql将数据导入的命令,根据导入原理转化的sql为获取返回的结果字段信息 ‘select id,name,age from t_user where age

2.1K8 0

Sqoop的数据导入

“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。...$ sqoop import (generic-args) (import-args) 示例表数据在mysql中有一个库sqoop_data中三个表：emp, emp_add和emp_contact...table emp --hive -import --m 1 导入到HDFS指定目录在导入表数据到HDFS使用Sqoop导入工具，我们可以指定目标目录。...以下是指定目标目录选项的Sqoop导入命令的语法。...我们可以导入表的使用Sqoop导入工具，"where"子句的一个子集。

8042 0

Sqoop 数据导入导出实践

Sqoop是一个用来将hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库(例如：mysql,oracle,等)中的数据导入到hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中...查询数据导入到Oracle的数据是否成功 sqoop eval --connect jdbc:oracle:thin:@YOUR-IP-ADDRESS:1521:database-name --username...导成功后可以用命令查看： hadoop fs -text /home/dpt/part-m-00000 6.分区表的导入通过sqoop将hive中的表导入到oracle中 sqoop export...--input-fields-terminated-by '\t' --input-lines-terminated-by '\n'; 导入分区表需要指定到具体分区目录，不然会找不到数据，在oracle...则 1)发现sqoop的安装目录 /usr/lib/sqoop/lib中缺ojdbc驱动包,然后将驱动包（ojdbc6-11.2.0.1.0.jar）复制到your-ip的sqoop安装目录就可以了

2.2K3 0

Sqoop在导入的时候导入多张表

当我们用Sqoop导入一张表的时候可以用 --table 去指定要导入一个表，但是我们要导入多个表的话，用这个--table是不行的。...这时候我们可以用Sqoop的import-all-tables加--exclude-tables 进行组合使用，实现我们一次导入多个表的目的。 ---- 示例数据库waimai有7个表。...我们要导入其中的ti开头的6个表，那么我们就可以使用import-all-tables加--exclude-tables "td_new_old_info" ，来导入我们需要导入的6个表。...image.png sqoop 导入waimai数据库里面的除td_new_old_info以外的表 sqoop import-all-tables \ --connect "jdbc:mysql...--fields-terminated-by "," \ --num-mappers 1 \ --exclude-tables "td_new_old_info" \ --outdir "/tmp/sqoop

7.1K1 0

使用Sqoop从MySQL导入数据

MySQL表导入到HDFS 导入loudacre数据库中的account表到HDFS sqoop import \ --connect jdbc:mysql://localhost/loudacre \...HDFS --check-column 检查的增量更新的列 --last-value 检查的列中的上一个导入的值 sqoop...HDFS 可用--where 来指定要导入的条件 sqoop import \ --connect jdbc:mysql://localhost/loudacre \ -...Hive中使用--hive-import 可将表导入到Hive中 sqoop import \ --connect jdbc:mysql://localhost/loudacre \ --username...HDFS 使用--as-parquetfile可将导入数据格式化成parquet sqoop import \ --connect jdbc:mysql://localhost/loudacre \ -

2.7K1 0

Sqoop快速入门系列(2) | Sqoop数据导入与导出

导入数据在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。 1....导入数据 // （1）全表导入 [bigdata@hadoop002 sqoop]$ bin/sqoop import \ --connect jdbc:mysql://hadoop002:3306/company...// （2）查询导入sqoop_query [bigdata@hadoop002 sqoop]$ bin/sqoop import \ --connect jdbc:mysql://hadoop002:...//（4）使用sqoop关键字筛选查询导入数据 [bigdata@hadoop002 sqoop]$ bin/sqoop import \ --connect jdbc:mysql://hadoop002...提示：sqoop1.4.6只支持HBase1.0.1之前的版本的自动创建HBase表的功能解决方案：手动创建HBase表 hbase> create 'staff_hbase','info' ?

1.4K2 0

sqoop之旅4-增量导入

） –incremental：用来指定增量导入的模式Mode，分为两种：append和lastmodified **–last-value：**指定上一次导入中检查列指定字段最大值，一般是用时间 2、增量模式...（Model） append：在导入的新数据ID值是连续时采用，对数据进行附加；如果不加lastvalue，则原表中的所有数据都会进行增量导入，导致数据的冗余。...sqoop import \ --connect jdbc:mysql://centos:3306/sqooptest \ --table bigdata \ --username root \ --...last-value "2019-11-19 16:39:43" # 必须是时间戳或者日期时间类型 --merge-key class_id -m 1 4、append和lastmodified append模式 sqoop...或者—append参数需要保留历史变更信息，使用append追加不需要保留重复信息，使用merge—key进行合并导入的是>= last-value的值 sqoop import \ -

1.1K1 0

sqoop之旅3-数据导入

sqoop-import introduction 导入的主要语法是 $ sqoop import (generic-args) (import-args) $ sqoop-import (generic-args...sqoop默认使用的是jdbc 作为导入通道，可以根据数据库进行修改，进行提速，比如MySQL使用mysqldump sqoop默认是将数据导入到当前用户的foo目录下 --target-dir和--warehouse-dir...默认情况下，sqoop使用已读提交的事务隔离级别来导入数据；方式不理想 relaxed-isolation用于指示sqoop使用读取未提交的隔离级别；但是这个参数不是所有的数据库都支持 File Formats...--null-string '\\N' --null-non-string '\\N' Importing Data Into HBase By specifying --hbase-table, you...instruct Sqoop to import to a table in HBase rather than a directory in HDFS.

1.1K1 0

Sqoop导入MySQL所有表到Hive

1、导入到Hive默认数据库 [root@node1 sqoop-1.4.7]# bin/sqoop-import-all-tables --connect jdbc:mysql://node1:3306.../hbase does not exist! HBase imports will fail....Please set $HBASE_HOME to the root of your HBase installation. 18/05/24 15:26:19 INFO sqoop.Sqoop: Running.../hbase does not exist! HBase imports will fail....Please set $HBASE_HOME to the root of your HBase installation. 18/05/24 16:00:05 INFO sqoop.Sqoop: Running

11.7K2 0

干货:Sqoop导入导出数据练习

sqoop简介 1,sqoop：sql-to-hadoop， sqoop是连接关系型数据库和hadoop的桥梁： (1)，把关系型数据库的数据导入到hadoop与其相关的系统(hbase和hive);...下图是sqoop架构图： 3,sqoop三要素 3，导入导出过程导入导出过程类似，主要是分为两步： 1.获得元数据； 2. 提交map任务。以import为例画出七过程图。...available export HADOOP_MAPRED_HOME=/opt/cdh2.3.6/hadoop-2.5.0-cdh5.3.6 #set the path to where bin/hbase...-d "${HBASE_HOME}" ]; then # echo "Warning: $HBASE_HOME does not exist! HBase imports will fail...." # echo 'Please set $HBASE_HOME to the root of your HBase installation.'

4K12 1

Hbase数据导入导出

平时用于从生产环境hbase到导出数据到测试环境。...导入数据： import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.IOException...; import org.apache.hadoop.hbase.client.HConnection; import org.apache.hadoop.hbase.client.HConnectionManager...; import org.apache.hadoop.hbase.client.HTableInterface; import org.apache.hadoop.hbase.client.Put; import...; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hbase.HBaseConfiguration; import

4K1 0

Sqoop导入数据之提供密码别名

最近遇到sqoop密码导入的问题，记录下。...Sqoop从关系型数据库导入到hdfs中时，需要关系型数据库的密码，但是密码明文展示不安全，所以在hadoop2.6之后，sqoop使用hadoop的credential使用password-alias...用hadoop生成jceks,如下List-1所示，之后在/tmp下生成mysql.password.jceks文件，之后将mysql.password.jceks传到hdfs的/user/sqoop....之后sqoop中如何使用呢，如下List-2，使用别名mydb.password.alias，而不是直接使用密码。...List-2 sqoop import \ -Dhadoop.security.credential.provider.path=jceks://hdfs/user/sqoop/mysql.password.jceks

1.1K2 0

Sqoop导入mysql所有表到HDFS

1、sqoop-import-all-tables导入多表 [root@node1 sqoop-1.4.7]# bin/sqoop-import-all-tables --connect jdbc:mysql.../hbase does not exist! HBase imports will fail....Please set $HBASE_HOME to the root of your HBase installation. 18/05/24 14:58:06 INFO sqoop.Sqoop: Running...Please set $HBASE_HOME to the root of your HBase installation. 18/05/24 15:03:33 INFO sqoop.Sqoop: Running...[root@node1 sqoop-1.4.7]# 一共导入了2张表 [root@node1 ~]# hdfs dfs -ls /user/root Found 5 items drwxr-xr-x

8.8K2 0

Sqoop安装配置及Hive导入

Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到...export HBASE_HOME=/home/hadoop/hbase-1.1.2 export PATH=$HBASE/bin:$PATH4.复制mysql驱动...将mysql的驱动jar（mysql-connector-java-5.1.34.jar）复制到lib目录下二、hive导入测试 sqoop ##sqoop命令 import...实现Mysql / Oracle 与HDFS / Hbase互导数据 http://www.linuxidc.com/Linux/2013-06/85817.htm [Hadoop] Sqoop...08/67027.htm Hadoop生态系统搭建（hadoop hive hbase zookeeper oozie Sqoop） http://www.linuxidc.com/Linux

1.5K0 0

通过sqoop将hdfs数据导入MySQL

简介：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle...| | NULL | | +----------+--------------+------+-----+---------+-------+ 三、开始导出数据到MySQL sqoop...export \ --connect jdbc:mysql://hadoop001:3306/sqoop \ --username root \ --password 123456 \ --table

2.1K3 0

Sqoop工具导入数据到Hive小记

最近正在捣鼓构建数据仓库的事宜，正好有部分维度表的数据需要来自于RDBMS的数据，在HADOOP环境最流行的莫过于Apache的Sqoop工具，按官方的文档操作下来也很顺畅的，不过当要应用到业务场景上时问题便出现了...在Hive上面创建了一个Dimension表并用ORC格式储存（关于Hive ORC存储的介绍参考 Hive:ORC File Format存储格式详解），然后在执行Sqoop导入便会抛出下面的异常...经过几番测试后发现，Sqoop默认导入的数据格式为TXTFILE，所以当建表时使用TXTFILE存储格式就能正常的导入数据，但这不是我们所想要的，又查看了一下文档，发现其在1.4.5版本后提供了一个hcatalog...执行Sqoop命令时一下要记得切换到同时安装有Sqoop Client与Hive Client的集群机器上，不然就会出现数据导入失败的情况。...参考： Sqoop使用手册 Hive:ORC File Format存储格式详解 Hive创建表时添加中文注释后乱码问题 SQOOP Import to Snappy ORC qoop Hive

3950 0

Sqoop导入Oracle数据表到Hive

/hbase does not exist! HBase imports will fail....Please set $HBASE_HOME to the root of your HBase installation. 18/05/23 16:16:47 INFO sqoop.Sqoop: Running...Please set $HBASE_HOME to the root of your HBase installation. 18/05/23 22:21:42 INFO sqoop.Sqoop: Running...Please set $HBASE_HOME to the root of your HBase installation. 18/05/23 22:43:25 INFO sqoop.Sqoop: Running...Please set $HBASE_HOME to the root of your HBase installation. 18/05/24 11:12:11 INFO sqoop.Sqoop: Running

3.1K3 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭