sqoop hive oracle - 腾讯云开发者社区

文章/答案/技术大牛

发布

Sqoop导入Oracle数据表到Hive

1、问题1 [root@node1 sqoop-1.4.7]# bin/sqoop import --connect jdbc:oracle:thin:@192.168.1.31:1521:users...Consider using -P instead. 18/05/23 16:16:47 INFO oracle.OraOopManagerFactory: Data Connector for Oracle...因为这个表没有主键，所以需要需要设置-m 1 2、修改参数，再次执行 [root@node1 sqoop-1.4.7]# bin/sqoop import --connect jdbc:oracle:thin...-1.2.2.jar hive-exec-1.2.2.jar 成功执行 [root@node1 sqoop-1.4.7]# bin/sqoop import --connect jdbc:oracle:...> 5、测试导入一张大表 [root@bigdata01-test sqoop-1.4.7]# bin/sqoop import --connect jdbc:oracle:thin:@10.17.12.31

3.1K3 0

sqoop导入hive

1.1hive-import参数使用--hive-import就可以将数据导入到hive中，但是下面这个命令执行后会报错，报错信息如下： sqoop import --connect jdbc:mysql...原因是因为sqoop导数据到hive会先将数据导入到HDFS上，然后再将数据load到hive中，最后吧这个目录再删除掉。当这个目录存在的情况下，就会报错。...1.2target-dir参数来指定临时目录为了解决上面的问题，可以把person目录删除掉，也可以使用target-dir来指定一个临时目录 sqoop import --connect jdbc:...sqoop import --connect jdbc:oracle:thin:@172.17.x.xxx:1521:ORCL --username ICO --password ico --...table C1_DIM_01216 --hive-table default.c1_dim_01216 --hive-import --fields-terminated-by "," -m 1

7171 0

您找到你想要的搜索结果了吗？

是的

没有找到

hive学习笔记之八：Sqoop

，本文将与您一起实践以下内容：部署Sqoop 用Sqoop将hive表数据导出至MySQL 用Sqoop将MySQL数据导入到hive表部署在hadoop账号的家目录下载Sqoop的1.4.7版本...和HADOOP_MAPRED_HOME是完整的hadoop路径，HIVE_HOME是完整的hive路径： export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.7.7...export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.7.7 export HIVE_HOME=/home/hadoop/apache-hive-1.2.2-...，我这为了省事儿，是用docker部署的，参考《群晖DS218+部署mysql》从hive导入MySQL（export）执行以下命令，将hive的数据导入到MySQL： ....表，数据已经导入：从MySQL导入hive（import）在hive的命令行模式执行以下语句，新建名为address2的表结构和address一模一样： create table address2

5552 0

Hive+Sqoop+Mysql整合

Hive+Sqoop+Mysql整合在本文中，LZ随意想到了一个场景：车，道路，监控，摄像头即当一辆车在道路上面行驶的时候，道路上面的监控点里面的摄像头就会对车进行数据采集。...配置文件 --配置sqoop：hive数据导入到mysql中 --注意： --export-dir /user/hive/warehouse/t_monitor_camera/ 这里的地址可以在hive...QAZ2wsx3edc use sqoop_db; --如果有则删除 DROP TABLE IF EXISTS t_hive_to_mysql_for_vehicle; CREATE TABLE t_hive_to_mysql_for_vehicle.../hive -f /root/vehicle_dir/hive_vehicle.sql echo 'begin to inport to mysql' sqoop --options-file /root...Oracle is a registered trademark of Oracle Corporation and/or its affiliates.

2.8K2 0

hive学习笔记之八：Sqoop

，本文将与您一起实践以下内容：部署Sqoop 用Sqoop将hive表数据导出至MySQL 用Sqoop将MySQL数据导入到hive表部署在hadoop账号的家目录下载Sqoop的1.4.7版本...和HADOOP_MAPRED_HOME是完整的hadoop路径，HIVE_HOME是完整的hive路径： export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.7.7...export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.7.7 export HIVE_HOME=/home/hadoop/apache-hive-1.2.2-...，我这为了省事儿，是用docker部署的，参考《群晖DS218+部署mysql》从hive导入MySQL（export）执行以下命令，将hive的数据导入到MySQL： ....表，数据已经导入： [在这里插入图片描述] 从MySQL导入hive（import）在hive的命令行模式执行以下语句，新建名为address2的表结构和address一模一样： create table

5555 0

Sqoop导入MySQL所有表到Hive

1、导入到Hive默认数据库 [root@node1 sqoop-1.4.7]# bin/sqoop-import-all-tables --connect jdbc:mysql://node1:3306.../esdb --username root --password 123456 --hive-import --create-hive-table Warning: /opt/sqoop-1.4.7/bin...[root@node1 sqoop-1.4.7]# hive> show tables; OK files logs t1 Time taken: 0.064 seconds, Fetched: 5...Time taken: 0.158 seconds hive> [root@node1 sqoop-1.4.7]# bin/sqoop-import-all-tables --connect jdbc...[root@node1 sqoop-1.4.7]# hive> use test; OK Time taken: 0.03 seconds hive> show tables; OK files logs

11.7K2 0

Hive 1.2.1&Spark&Sqoop安装指南

和Sqoop集成以sqoop-1.4.6.bin__hadoop-2.0.4-alpha为例，支持增量导入，不但可以将数据导入到Hive中，还可以往HBase导数据，也可以将数据从DB导入到HDFS...总之，Sqoop功能十分强大，但这里仅简单介绍。...从Sqoop的官网（下载网址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.6）下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz...解压，然后进入Sqoop的conf目录，完成以下修改即可： 11.1. 修改sqoop-env.sh 复制一份sqoop-env-template.sh，命名为sqoop-env.sh。...修改sqoop-site.xml 复制一份sqoop-site-template.xml，命名为sqoop-site.xml，可不做任何修改。 11.3.

2.1K1 0

hadoop、hive、sqoop安装备忘原

实际项目中，很多地方需要把数据缓存起来，以加快数据访问速度。比如字典表，比如数据机房表等等，缓存的实现有很多方式，如果项目中有用到mybatis，可以使用二级缓...

4593 0

Sqoop从Oracle导入一个大表（3亿）到Hive失败

大约3亿条记录 SQL> SELECT count(*) FROM INFO; COUNT(*) ---------- 294239674 SQL> 导入Hive [root@node1 sqoop...-1.4.7]# bin/sqoop import --connect jdbc:oracle:thin:@node1:1521:ORA --username test --password test...--table info --hive-import --target-dir temp_table --hive-table info --null-string '\\N' --null-non-string...'\\N' --fields-terminated-by '\001' --hive-drop-import-delims -m 1 --hive-overwrite --delete-target-dir...) at oracle.jdbc.driver.OracleResultSetImpl.next(OracleResultSetImpl.java:288) at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue

1K1 0

Sqoop抽数到Hive表异常分析

Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.问题描述使用Sqoop抽取MySQL数据到Hive表时，...抽取语句正常执行但数据没有写入Hive的表中，执行的Sqoop抽数脚本如下： export HADOOP_USER_NAME=hive sqoop import \ --connect "jdbc:mysql...2.异常处理及分析 1.在Sqoop抽数的脚本中存在target-dir参数，指向的HDFS数据目录，为hive_hosts表的仓库目录，将target-dir参数去掉执行 ? 脚本执行成功 ?...因为在上述异常中我们指定的target-dir目录与Hive表的仓库目录一致，所以会导致Sqoop抽数成功，但对应的Hive表中无数据问题。 ?...3.总结 1.使用Sqoop抽数到Hive表，如果使用target-dir指定HDFS数据抽取目录时不能设置目标目录与hive表的仓库目录一致，否则会导致抽取的数据被Sqoop删除。

1.2K1 0

Sqoop安装配置及Hive导入

Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到... --split-by 字段名 2.导入数据到Hive 增加参数 –hive-import sqoop import --connect jdbc:mysql://...192.168.1.93/test --username hive --password 123456 --table t_user --warehouse-dir /user/sqoop --hive-import...123456 6.将关系型数据的表结构复制到hive中,只是复制表的结构，表中的内容没有复制 sqoop create-hive-table --connect jdbc:mysql...相关阅读：通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据 http://www.linuxidc.com/Linux/2013-06/85817

1.5K0 0

Sqoop工具导入数据到Hive小记

最近正在捣鼓构建数据仓库的事宜，正好有部分维度表的数据需要来自于RDBMS的数据，在HADOOP环境最流行的莫过于Apache的Sqoop工具，按官方的文档操作下来也很顺畅的，不过当要应用到业务场景上时问题便出现了...在Hive上面创建了一个Dimension表并用ORC格式储存（关于Hive ORC存储的介绍参考 Hive:ORC File Format存储格式详解），然后在执行Sqoop导入便会抛出下面的异常...命令是可以支持ORC File Format，参考命令如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 sqoop import --connect jdbc:mysql...执行Sqoop命令时一下要记得切换到同时安装有Sqoop Client与Hive Client的集群机器上，不然就会出现数据导入失败的情况。...参考： Sqoop使用手册 Hive:ORC File Format存储格式详解 Hive创建表时添加中文注释后乱码问题 SQOOP Import to Snappy ORC qoop Hive

3920 0

hive、sqoop、MySQL间的数据传递

hdfs到MySQL csv/txt文件到hdfs MySQL到hdfs hive与hdfs的映射： drop table if exists emp; create table emp ( id...将文件直接上传至hdfs hadoop dfs -put /root/part-m-00000 /user/hive/warehouse/test.db -- 方法2....利用sqoop将数据传至hdfs sqoop是MySQL与hdfs之间数据传递工具> sqoop import --connect jdbc:mysql://192.168.5.129:3306/hadoop.../warehouse/test.db sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password.../qingyunzong/p/8747656.html sqoop export --connect "jdbc:mysql://192.168.5.129/fund?

1.2K2 0

Sqoop抽数到Hive表异常分析(之二)

github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢 1.测试环境说明 ---- CDH集群启用了HDFS的HA CM和CDH版本为5.14.2 2.问题描述 ---- 使用Sqoop...Sqoop抽数脚本如下： export HADOOP_USER_NAME=hive sqoop import \ --connect "jdbc:mysql://cdh02.fayson.com:3306...test \ --hive-table hive_hosts \ --m 1 （可左右滑动）在命令行执行上述Sqoop脚本，显示作业正常执行 ?...4.Sqoop命令验证 ---- Sqoop命令正常执行 ?...这里可以看到生成的数据文件为0,数据行数和总条数均为0，这里是一个问题可以参考Fayson前一篇文章《Sqoop抽数到Hive表异常分析》 5.总结 ---- 1.导致该异常的最终原因是由于在HDFS未启用

1.2K3 0

Sqoop 数据导入导出实践

--input-fields-terminated-by '\001' --input-lines-terminated-by '\n' 1.导hive表到Oracle sqoop export -...比如逗号等 --input-lines-terminated-by '\n' 注意：导hive表是“\001” –解释: sqoop export –table Oracle_table_name...--hive-import --hive-table hive_table_name -m 1 —解释: TABLE_NAME为oracle表名(切忌：Oracle个表名在命令中必须是大写，不然会报错...导成功后可以用命令查看： hadoop fs -text /home/dpt/part-m-00000 6.分区表的导入通过sqoop将hive中的表导入到oracle中 sqoop export...分隔符要遵循hive表的具体分隔符导致任务失败有可能是表名不一致，字段不一致，oracle中的字段大小不够 ---- 2.可能遇到的问题连接oracle数据库，列出数据库中的表时 sqoop list-tables

2.2K3 0

apache sgoop 导入数据到 oracle、导出数据到 oracle 实现

业务场景：是在oracle 数据库和 hive 数据库中，有多个相同结构的表，要求数据从2个库定时双向同步。...（导出时可以只导出部分字段，则此时 hive 库和 oracle 库中表结构可以并非完全一致） 1....编写sgoop import 脚本并执行即可把数据从 oracle 数据库导入到 hive 数据库中。...编写sgoop export 脚本并执行，则可把数据从 hive 库导出到 oracle 数据库。...else echo "####sqoop from hive into oracle "${table_name} " successed......"

1.2K2 0

sqoop把hive数据导入mysql出现中文乱码

使用 sqoop 将 hive 数据导入 mysql 后出现乱码： ? 进入数据库，输入 show variables like 'character%'; 回车 ?...示例：sqoop export --connect "jdbc:mysql://数据库ip:3306/数据库名称?...useUnicode=true&characterEncoding=utf-8" ... sqoop-export \ --connect "jdbc:mysql://localhost:3306/lft...characterEncoding=utf-8" \ --username root \ --password 123456 \ --table test3 \ --export-dir /user/hive

4.5K3 0

Sqoop之导入Mysql数据到Hive出现ASCII

问题是这样的，从Mysql中导入数据到Hive中，Mysql中数据是"T2"，到Hive中后，发现变为"54 32"，咦，怎么乱码了，感觉这像ASCII编码。 ...如何解决: 在sqoop导入语句中加入如下的参数，其中xxx是数据库库表中的列名称，即上面出现ASCII的列名称。 List-1 --map-column-java xxx=String

1.5K2 0

使用Sqoop从Postgresql中导入数据到Hive中

cd /apps tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 配置进入 sqoop 的 conf 目录，复制 sqoop-env-template.sh...为 sqoop-env.sh cd /apps/sqoop-1.4.7.bin__hadoop-2.6.0/conf cp sqoop-env-template.sh sqoop-env.sh 编辑...sqoop.Sqoop: Running Sqoop version: 1.4.7 Sqoop 1.4.7 git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8...导入数据在使用Hive前，需要在 sqoop 的根目录下创建一个 hive-exec.jar 的软连接，如下： ln -s /apps/apache-hive-2.3.2-bin/lib/hive-exec...-2.3.2.jar 向 Hive 中导入数据 # 导入数据到 hive 中（也可以指定 Hive 中的数据库，表和使用增量导入方式） $ bin/sqoop import --connect jdbc

4K4 0

Sqoop抽取Hive Parquet表数据到MySQL异常分析

Fayson的github：https://github.com/fayson/cdhproject 1.问题描述 ---- 在CDH集群中我们需要将Hive表的数据导入到RDBMS数据库中，使用Sqoop...工具可以方便的将Hive表数据抽取到RDBMS数据库中，在使用Sqoop抽取Hive Parquet表时作业执行异常。...123456 \ --table mytest_parquet \ --export-dir /user/hive/warehouse/mytest_parquet \ -m 1 异常日志： 17/12...[8krr8v2ozq.jpeg] 3.查看MySQL表数据 [j96z8p9fmw.jpeg] 3.总结 ---- 目前通过Sqoop从Hive的parquet抽数到关系型数据库的时候会报kitesdk...，需要参考第二章的做法，使用hcatalog参数指定到Hive表。

4.3K8 0

点击加载更多

Sqoop导入Oracle数据表到Hive

sqoop导入hive

hive学习笔记之八：Sqoop

Hive+Sqoop+Mysql整合

hive学习笔记之八：Sqoop

Sqoop导入MySQL所有表到Hive

Hive 1.2.1&Spark&Sqoop安装指南

hadoop、hive、sqoop安装备忘原

Sqoop从Oracle导入一个大表（3亿）到Hive失败

Sqoop抽数到Hive表异常分析

Sqoop安装配置及Hive导入

Sqoop工具导入数据到Hive小记

hive、sqoop、MySQL间的数据传递

Sqoop抽数到Hive表异常分析(之二)

Sqoop 数据导入导出实践

apache sgoop 导入数据到 oracle、导出数据到 oracle 实现

sqoop把hive数据导入mysql出现中文乱码

Sqoop之导入Mysql数据到Hive出现ASCII

使用Sqoop从Postgresql中导入数据到Hive中

Sqoop抽取Hive Parquet表数据到MySQL异常分析

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐