从MySQL导入Sqoop :小数始终作为字符串导入配置单元

文章/答案/技术大牛

发布

1回答

mysql、string、decimal、cloudera、sqoop

我正在尝试将数据从MySQL导入到Hive (Cloudera5.8集群)中，其中包含4个用于HDFS的数据节点。使用Sqoop 1.4.6 (包含在Cloudera5.8中)，我一直在尝试直接从MySQL导入配置单元，它的工作原理是，我的十进制(18,2)字段从MySQL表格(InnoDB格式)总是作为配置单元字符串数据类型<

浏览 16提问于2016-09-20得票数 2

3回答

sqoop导入成功，但配置单元显示表看不到表

hadoop、import、hive、sqoop

环境:sqoop-1.4.2 hadoop-1.0.4配置单元-0.9.0hdfs中存在文件:找到1个项目drwxr-xr-x - hadoop超级组0 2013-02-19 10:36

浏览 1提问于2013-02-19得票数 0

5回答

如何通过sqoop将表从sql server导入到hdfs

hadoop、hive、sqoop

我安装了hadoop，hive，sqoop。我将表从我的数据库导入到hdfs，但无法将其导入到配置单元。我需要在配置单元中配置任何文件吗？同样，当我浏览网页时，显示的是MySQL的配置，但我使用的是驱动程序jdbc:sqlserver。有没有人能帮帮我，因为我已经坚持了很多天了。

浏览 2提问于2012-08-01得票数 2

2回答

如何在hadoop集群中使用sqoop将rdbms中的表导入到hive？

sqoop

我正在尝试使用hadoop集群中的SQOOP将表从RDBMS导入到HIVE中，我收到以下错误，您能提供解决方案吗？bin/sqoop-import --connect jdbc:mysql://localhost:3306/hadoop -username root -password root --table(ImportTool.java:415) at org.apache.sqoop.tool.ImportTool.run(Imp

浏览 1提问于2014-06-02得票数 0

3回答

如何使用sqoop在Hive中创建外部表。需要建议

hadoop、hive、sqoop

使用sqoop，我可以创建托管表，但不能创建外部表。1.对仓库中的表进行分区。有些是按日期分区的，有些是按状态分区的。

浏览 5提问于2015-01-17得票数 2

回答已采纳

3回答

如何使用sqoop import将RDBMS数据导入到特定的配置单元数据库

mysql、database、import、hive、sqoop

我需要使用sqoop将外部数据库从mysql导入配置单元。我的需求是使用sqoop import将包含所有表的完整数据库导入到指定的配置单元数据库。例如，我想导入mysql数据库'hadoop_practice‘以及它的所有表到hadoop_practice数据库中。但是，当我执行以下命令时 $ sqoop import-all-tables --con

浏览 1提问于2015-01-15得票数 0

1回答

sqoop导出到mysql失败

mysql、hadoop

我从装有CentOS的虚拟机到windows上的mysql的独家数据导出失败，出现以下错误sqoop export --详细--connect jdbc:mysql://192.168.168.1/test --用户名根目录--密码root123 --表标记表--直接--导出目录/用户/

浏览 1提问于2014-04-01得票数 0

1回答

如何将XML类型的oracle数据迁移到Hadoop HDFS

hadoop、hdfs、xmltype

我在Oracle中有一个表中的大量数据，其中一个列类型是包含主数据的XML类型。我需要将此数据移动到HDFS。在Hadoop HDFC中迁移此数据的最佳方法是什么。任何示例代码或指令都将不胜感激。

浏览 1提问于2016-03-07得票数 0

3回答

如何轻松地将RDBMS数据导入配置单元分区表

hive、sqoop

现在，我选择了该表的第3列作为我的HIVE表的分区列。现在，我如何轻松地将我的RDBMS表的数据导入HIVE表(考虑分区列)？

浏览 0提问于2015-03-13得票数 0

1回答

错误[main]枚举:导入失败:没有枚举常量org.apache.hadoop.mapreduce.JobCounter.MB_MILLIS_MAPS

mysql、mapreduce、sqoop、hadoop2

我使用的是Hadoop 2.7.1版本sqoop 1.4.6和java 1.8。所有的守护进程都运行正常。当我使用sqoop import时，我得到下面的错误。你能告诉我错误是从哪里发生的吗，以及如何解决这个错误。提前谢谢。sqoop import --bindir ./ --connect jdbc:mysql://localhost/mydb --username root --password yashu123 --table shipper --m 1 --

浏览 27提问于2017-02-07得票数 0

1回答

如何使用Sqoop将Datetime列从SQL Server导入Hive

hive、timestamp、sqoop

我正在尝试使用Sqoop将数据从SQL Server导入Hive。当我导入日期时间列时，它会忽略如下所示的值。SQL Server - 2021-02-10 10:30:00.000配置单元- 2021-02-10 10:30:00.0 Sqoop忽略最后一个点之后的所有零，只保留一个零。但是如果我们有实际值，那么sqoop正确地导入实际值，如下所示。SQL Server - 2021-02-10 10:30:10.865配置

浏览 5提问于2021-02-10得票数 1

2回答

如何使用create- Hive -table在配置单元中创建表时使用自定义分隔符

mysql、hadoop、hive、sqoop

我正在尝试将数据从RDBMS表导入HDFS。然后，我使用create- hive -table将模式复制到配置单元，然后将数据加载到该配置单元表。用于导入到HDFS的命令 sqoop import --connect jdbc:mysql://localhost/sqoop --username sqoop --password sqoop --war

浏览 5提问于2016-01-27得票数 1

2回答

如何使用Sqoop将数据从关系数据库导入沙箱Hive？

sql-server、hadoop、hive、sandbox、sqoop

如何使用Sqoop将数据从关系数据库导入到沙箱中的配置单元。我已经在我的电脑上安装了Horton Works沙箱。Nw我想知道这个迁移。我已经参考了这个链接，但我有一些疑问1，它需要任何Sqoop软件来运行吗? 2，在上面提到的链接中有一些代码，我将把这些代码放在哪里？在Hive query window?

浏览 0提问于2013-06-12得票数 3

回答已采纳

2回答

从多个mysql表到hadoop map-reduce的数据

java、mysql、hadoop、mapreduce

我们有以下场景：a)我们可以使用连接查询作为映射流程的输入，或者 b)我们可以通过制作简单的jdbc connection并一次又一次地请求数据来读取所需的数据(尽管我不喜欢这样做)。

浏览 0提问于2012-03-02得票数 1

回答已采纳

2回答

如何将mysql表转移到hive？

mysql、hadoop、hive

我有一个很大的mysql表，我想将其传输到Hadoop/Hive表。有没有标准的命令或技术可以将简单的(但很大的)表从Mysql传输到Hive？该表主要存储分析数据。

浏览 2提问于2011-01-08得票数 6

回答已采纳

1回答

表在配置单元中不可见

hadoop、hive、hiveql、sqoop

我在Mysql中创建了一个表"A“当我尝试使用以下命令将表A导入到目标数据库时： [training@localhost ~]$ sqoopimport --connect jdbc:mysql://localhost/march2015 --username root --table A -m 1 --target-dir hiveankit

浏览 2提问于2016-07-03得票数 1

2回答

将Sqoop数据从HDFS移动到Hive

hadoop、hive、hdfs、sqoop

在使用Sqoop将一堆大型MySQL表导入到HDFS中时，我忘记了包含--hive-import标志。我尝试使用sqoop create-hive-table：虽然这确实创建了正确的hive表，

浏览 0提问于2012-05-10得票数 0

回答已采纳

4回答

如何在SQOOP中自动执行增量导入？

hadoop、mapreduce、sqoop

我们如何在SQoop中自动执行增量导入？在增量导入中，我们需要给--last-value从最后一个值开始导入，但我的工作是频繁地从关系型数据库导入，我不想手动给出最后一个值，有没有什么方法可以自动化这个过程？

浏览 4提问于2016-01-14得票数 4

1回答

将数据从mysql导入到配置单元时，用户注销和hadoop服务器自动关闭

mysql、hadoop、hive、sqoop

bin/sqoop import --connect jdbc:mysql://localhost/user_db --username asdf --password asdf --table hotels--hive-import --hive-home /opt/hive --m 1 能够将数据从mysql导入到HDFS，但无法直接导入到配置单元，而是发生了用户注销。

浏览 2提问于2016-06-22得票数 1

7回答

sqoop导入已完成，但配置单元显示表看不到表

hadoop、hive、hdfs、sqoop

/sqoop import -connect jdbc:mysql://10.164.11.204/server -username root -password password -table user-编辑 /sqoop import -connect jdbc:mysql://10.164.11.204/server -username root -password password -tableuser -hive-import --t

浏览 1提问于2011-07-01得票数 1

点击加载更多