1回答
我需要用mysql格式在cosmos中存储数据，但我做不到。我已经检查了数据存储在cosmos的文本文件中，但当我进入hive时，没有任何以我的名字命名的表。
以下是cygnus的配置。这是正确的吗？在mysql表中存储我的错误在哪里？
cygnusagent.sources = http-source
cygnusagent.sinks = hdfs-sink mysql-sink
cygnusagent.channels = hdfs-channel mysql-channel
cygnusagent.sources.http-source.channels = hdfs-channel
浏览 1提问于2015-05-07得票数 1
1回答
我在HDFS中有一个表'test‘，它有列( id、name、city、工资)。我想要导出(名称，城市)到MySQL，但是当我使用SQOOP命令时，使用-- MySQL列被选中，而不是在hdfs中的测试表列，并且在hdfs中的id列的数据被转移到名称，名称列被转移到MySQL中的城市列。
有没有办法从hdfs中选择一个特定的列并传递它？
浏览 1提问于2017-08-10得票数 0
1回答
我需要将Cosmos中的数据保存在SQL表中，而不是HDFS文件中。
我在FI-Lab的Cloud部分部署了一个VM，在那里我安装了0.14.0 Orion版本和0.3的Cygnus。我已经将Cygnus配置为在HDFS和SQL中存储数据...问题是，持久化在HDFS文件中工作得很好，但在SQL表中是不可能的，尽管我在过去得到了它。这就是我困惑的原因
我猜如果HDFS持久化工作，那应该是cygnus.config文件的问题。所以我在下面展示它：
# APACHE_FLUME_HOME/conf/cygnus.conf
# The next tree fields set the so
浏览 2提问于2014-10-23得票数 1
我希望将mysql中的多个表的数据加载到hdfs中，这些表的名称类似于a__0、a__1、a__2。
如何使用Sqoop将这些表加载到hdfs中？
我能用UNION吗？
浏览 2提问于2016-07-07得票数 0
回答已采纳
3回答
我可以连接mysql和hive (hdfs上的蜂窝)之间的表吗？
有人告诉我它在mysql和甲骨文之间起作用。
示例：
SELECT a.* FROM a JOIN b ON (a.id = b.id)
A在mysql，b在hdfs上。
我怎么才能让它起作用？
浏览 3提问于2014-12-17得票数 0
回答已采纳
我有一堆MySQL表需要执行一些分析。我目前已经将这些表导出为CSV文件，并将它们放到HDFS上。现在，我从PySpark上的HDFS中将每个表读取到不同的RDDs中进行分析。
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('hdfs://path/to/
浏览 1提问于2015-12-07得票数 2
我的用例：
逐日在mysql数据库中创建每小时表。我需要每天使用Sqoop将它们移动到HDFS，并使用Impala处理HDFS数据。
如何编写shell脚本或作业，以便定期将新创建的表数据移动到HDFS(现有文件系统)？
假设今天是2016年1月3日，当我今天运行我的工作时，那么2016年1月2日的数据应该像宽每天一样从mysql移动到HDFS，它应该移动前一天的数据。每天，我都需要在这个HDFS集群上运行我的Impala查询并生成报告。
如何使用Impala处理整个数据并生成报告？
浏览 2提问于2016-01-13得票数 1
1回答
如何更新HDFS文件中的数据，类似于MySQL表中的数据？我查了一下互联网，但是所有的例子都是--增量的最后一个修改的例子。
在我的例子中，我的MySQL表不包含日期或时间戳列。如何更新HDFS文件中的数据，类似于不包含日期列的MySQL表中的数据？
我有如下所示的MySQL表
mysql> select * from employee;
+----+--------+--------+------+-------+-----------+
| id | name | gender | age | state | language |
+----+--------+-------
浏览 1提问于2017-08-17得票数 1
1回答
我有psudeo分布式hadoop环境，并使用sqoop和hive进行数据导入和分析。
我使用sqoop将数据从mysql导入到蜂箱中，它起作用了，我在我的蜂巢位置(也就是/user/hive/warehouse/ )获得了数据，我可以在hive表中看到数据。
我的怀疑是：
当我从mysql导入到hive(构建在hadoop之上)时，hadoop中存储的数据会不会？
为什么它要在我的hdfs中创建/user/hive/warehouse？
蜂巢将如何工作在数据之上？
如果我更新mysql中的数据，我可以使用sqoop增量导入来更新hdfs中的数据，但是如果我直接使用hive导入
浏览 5提问于2017-01-11得票数 0
1回答
我已经将HBase数据导出到HDFS。我想Sqoop将HDFS导出到MySQL。但是，在使用Sqoop导出时，它要求我提供HDFS数据的分隔方式。如何检查HBase表或HDFS数据中的分隔符？
编辑1：我使用bin/hadoop /path/ to /hbase-0.20.3.jar导出your_table /your_table/your_table将HBase数据导出到HDFS
浏览 5提问于2013-09-19得票数 0
2回答
我使用sqoop命令将mysql表“title”导入到hdfs中，如下所示：
sqoop import --connect jdbc:mysql://localhost/employees --username=root -P --table=titles --target-dir=titles --m=1
现在，如果我使用以下命令，我想导入到hive：
sqoop import --connect jdbc:mysql://localhost/employees --username=root -P --table titles --hive-import
我会被告知：
输出目录hdfs:
浏览 7提问于2016-10-02得票数 0
回答已采纳
我在hdfs中有field1, field2, field3，在mysql表中有id(auto increment), field1, field2, field3, uptate_time(default CURRENT_TIMESTAMP)，我想将hdfs中的三个字段导出到mysql表中，其中有五个字段，两个字段具有默认值。如何在sqoop中实现这一点？
浏览 3提问于2017-04-05得票数 0
回答已采纳
我有一个名为EXAM_RESULTS.的表的下面提到的orc文件，这个表首先有一个初始加载，然后会有增量加载。通过增量加载传入的新记录可能会将新记录带入EXAM_RESULTS表或现有记录的更新版本。
在文件名中的日期时间信息中可以看到，文件以part-m-00000到00003结尾的前四个ORC文件来自初始加载，其他文件来自在不同日期和时间执行的不同增量加载。
-rw-r--r-- 3 mysql hdfs 15808 2019-08-19 11:55 /INFO/CLASSROOM/TEST_MARKS/EXAM_RESULTS/EXAM_RESULTS_2019-08-19
浏览 11提问于2019-08-20得票数 1
回答已采纳
假设我们在Mysql中有由主键和外键标准化的表。一旦数据存储到HDFS中，我们将丢失外键约束的信息。如何将此信息保存在HDFS中？
浏览 0提问于2016-11-21得票数 2
现在我的包含列- id, name的蜂巢表
和MySQL表- number, id, name
我想用id (from hive) number (from mysql)**，** name (from hive) 和 id (from mysql)**.**来映射
我使用以下命令：
sqoop export --hcatalog-database <my_db> --hcatalog-table <my_table> --columns "number,id" \
--connect jdbc:mysql://db...:3306/test \
浏览 5提问于2019-09-11得票数 1
在导入到HDFS之前，我们是否可以通过在MYSQL中选择特定的列或其他条件来编辑该表，以将其另存为MYSQL数据库中的新表？
浏览 19提问于2018-01-24得票数 1
1回答
我将一个表雇员从mysql导入到hdfs，没有任何问题；我将一个不同的表dep_emp导入 hive ，也成功了；我双重检查了蜂窝中只有两个表: myfirsthivetable和dep_emp，没有雇员；然后我尝试将表employees导入hive，但是我收到了错误信息：
Output directory hdfs://localhost:9000/user/root/employees already exists
以下是我的导入查询：
sqoop import --connect jdbc:mysql://localhost/employees --username root --P
浏览 2提问于2016-07-01得票数 0
回答已采纳
1回答
我试图使用Sqoop将数据从MySQL表导入到Hive。据我所知，有两种方法可以做到。
将数据导入HDFS，然后在Hive中创建外部表并将数据加载到该表中。
在运行Sqoop查询时使用create-hive-table在Hive中创建一个新表，并将数据直接加载到其中。我正试着做这件事，但出于某种原因我做不到
这是我的密码
sqoop import \
--connect jdbc:mysql://localhost/EMPLOYEE \
--username root \
--password root \
--table emp \
--m 1 \
--hive-databa
浏览 3提问于2017-11-13得票数 0
我已经成功地安装并导入了从MySql到HDFS的数据，但是我无法在Hive中获得数据。从Mysql导入的相应数据以逗号分隔格式在Hdfs中找到。
使用sqoop的旧版本
sqoop import --connect jdbc:mysql://remote-ip/db --username xxx --password xxx --table tb --hive-import --hive-table foo.tb
在Sqoop2中，我找不到在创建作业或连接器时设置单元表选项的选项
请帮帮我..。
浏览 2提问于2013-11-19得票数 1
回答已采纳
嗨，我正在参加HADOOP的培训。我有一个任务，其中我必须使用sqoop将表数据从oracle(windows，11g xe)导入到hdfs。我正在读下面这篇文章。我的问题是，如何准确地将数据从windows导入到hdfs。正常情况下，我使用Winscp将文件从Windows传输到hdfs机器。我已经从安装在hdfs(cdh3)机器上的MySql导入了数据。但我不知道如何将数据从windows中的Oracle导入到hdfs。请帮帮忙。
浏览 3提问于2016-04-11得票数 1
我正在做一个sqoop增量工作，将数据从mysql加载到hdfs。下面是下列场景。
场景1:下面的是插入到mysql示例表中的记录。
select * from sample;
+-----+--------+--------+---------------------+
| id | policy | salary | updated_time |
+-----+--------+--------+---------------------+
| 100 | 1 | 4567 | 2017-08-02 01:58:28 |
| 200 | 2 |
浏览 3提问于2017-08-02得票数 3
我刚刚安装了sqoop1.99.3并从mysql.Now导入了一个表到HDFS我想通过sqoop从mysql导入一个表到hive或hbase，但是我不知道怎么做this.The命令'sqoop import --connect jdbc:mysql://ip:port/dbName --username root --password mysql-password -- table‘for sqoop1.4.*似乎不起作用。
浏览 5提问于2014-04-21得票数 0
1回答
最初我有HBase数据，并将其导出到HDFS，后者生成了一个名为“part-00000”的文件。现在，我想使用Sqoop将导出到MYSQL中。
我试着运行这个Sqoop命令
**$ bin/sqoop export --connect jdbc:mysql://localhost/test_db --table *bar* --export-dir /var/hbadoop/hdfsdata/part-0000 --username root --password password -m 1**
它犯了一个错误：
**Error manager.SqlManager: Error execu
浏览 2提问于2013-09-18得票数 0
回答已采纳
1回答
我在存储在HDFS中的dataset上使用了Pig和Hive进行MapReduce操作。现在，我希望将该输出传输到MySQL表中。
如何将输出传输到MySQL？
浏览 0提问于2018-04-28得票数 0
回答已采纳
我已经(从源代码)安装了Cygnus0.7.1，在配置它之后(MySQL和HDFS接收器)，我可以毫无问题地启动它。当我订阅cygnus到orion上下文时，它会收到信息ok，但是MySQL和HDFS存在问题。这是日志：
15/03/17 13:58:52 INFO handlers.OrionRestHandler: Starting transaction (1426597123-891-0000000000)
15/03/17 13:58:52 INFO handlers.OrionRestHandler: Received data ({ "subscriptionId
浏览 3提问于2015-03-17得票数 1
我使用sqoop将表从mysql导入到hdfs location /user/cloudera/table1，现在应该使用什么命令将该表加载到pyspark代码中。我只是像下面这样写简单的代码。我使用的是cloudera CDH 5.13。谢谢
from pyspark import SparkContext, SparkConf
if __name__ == "__main__":
# create Spark context with Spark configuration
conf = SparkConf().setAppName("Spark Count&#
浏览 2提问于2019-11-13得票数 0
1回答
在MySQL数据库中，我有100个表。一些表名的结尾类似于下面
123_testing
124_testing
125_testing_10
and so on
现在，我希望选择与_testing类似的表，并将结果作为hdfs中的文件。
我想将表名作为HDFS的文件进行sqoop。
我们怎么能这么做。
我可以使用sqoop list-tables，但是它给出了所有表和本地机器的结果。我们不能用它来指定--target-dir选项。
浏览 2提问于2017-03-07得票数 2
回答已采纳
1回答
增量附加到文件
、、、
我在MySQL中有表，我想使用sqoop导入数据。我导入了数据并以file的形式存储在file中。现在，我想在hdfs中对这个文件运行增量更新。
假设MYSQL表中有100行。HDFS中的文件包含前50行的数据。如何增量更新此文件。
I am talking about files not Hive tables。
我希望增量数据作为单独的文件，而不是合并的文件。例如，第一个部件文件包含50个记录，然后我需要一个包含接下来50个记录的部件文件。我的意思是，我们可以对文件进行增量更新吗？
浏览 3提问于2017-03-17得票数 0
回答已采纳
2回答
在使用Sqoop将一堆大型MySQL表导入到HDFS中时，我忘记了包含--hive-import标志。所以现在我把这些表放在HDFS中，我想知道是否有一种简单的方法可以将数据加载到Hive中(而无需自己编写load data语句)。
我尝试使用sqoop create-hive-table：
./bin/sqoop create-hive-table --connect jdbc:mysql://xxx:3306/dw --username xxx --password xxx --hive-import --table tweets
虽然这确实创建了正确的hive表，但它没有向其中导入任何数
浏览 0提问于2012-05-10得票数 0
回答已采纳
我将mysql中的数据以avroformat格式导入hdfs。我将.avsc文件移动到hdfs，并使用.avsc文件创建配置单元表。请参考下表：
.AVSC文件：-rw-r--r-- 3 jonnavithulasivakrishna hdfs 1041 2017-09-13 00:05 hdfs://nn01.itversity.com:8020/user/jonnavithulasivakrishna/products.avsc
已创建的表：
hive (siv_sqoop_import)> CREATE EXTERNAL TABLE Products_1
浏览 2提问于2017-09-13得票数 0
1回答
我有几个问题：
1. Why is there MapReduce process in Sqoop to load data from HDFS to MySQL?
例如：
数据在HDFS目录：/foo/bar中。
要在MySQL条形表中加载数据，为什么有一个MapReduce进程？
sqoop export --connect jdbc:mysql://localhost/hduser --table foo -m 1 --export-dir /foo/bar
输入上述命令后，将执行MapReduce进程。
2. How can I enable/disable key in MySQ
浏览 3提问于2014-04-07得票数 1
回答已采纳
我在一个MySQL数据库中有100个表，使用sqoop import-all-tables我只想导入50个表到hdfs，使用exclude命令我们必须指定50个表，或者有任何其他选项？
浏览 21提问于2019-03-17得票数 0
3回答
我必须将HDFS文件导出到MySql。
假设我的HDFS文件是：
1,abcd,23
2,efgh,24
3,ijkl,25
4,mnop,26
5,qrst,27
假设我的Mysql数据库模式是：
+-----+-----+-------------+
| ID | AGE | NAME |
+-----+-----+-------------+
| | | |
+-----+-----+-------------+
当我使用以下Sqoop命令插入时：
sqoop export \
--connect jdbc:mysql://loca
浏览 2提问于2014-09-17得票数 1
3回答
有一个查询，我在Mysql中有两个更大的表A (40 GB)和B(70 GB)，我经常需要从这两个表中连接。我不使用查询中的联接，因为它从不返回结果。请考虑所有表都有很好的索引。
我从表A中提取数据，与使用这些数据相比，我在表B中找到了大量匹配的记录。我进一步处理这些合并的数据。整个过程需要时间，这取决于我做了多少处理。
我知道火花也可以用于分布式计算。
问题1:如果我把这些数据放到HDFS中，而不是通过进行处理，集群中有5个节点可以给我一个更快的结果吗？我认为答案是肯定的。
问题2:将结构化数据(从MySql)更改为HDFS可以被认为是一种好方法吗？
浏览 6提问于2016-09-04得票数 1
回答已采纳
我使用以下命令从hdfs中存储的数据创建了一个hive表：
create external table users
(ID INT, NAME STRING, ADRESS STRING, EMAIL STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION '/data/tpch/users';
此用户表存储在hdfs中，有10 in。而create只需1秒就可以创建该表并加载数据。所以这很奇怪，或者说它真的很快。我的疑问是，检查装载表中的数据的时间是否可
浏览 1提问于2016-04-03得票数 1
我研究过的大多数教程都向我指出，我必须使用进行导出/导入，许多手册展示了如何将数据从DB导出到HDFS，但我如何进行反向操作呢？
比方说，我在localhost上有localhost DB，它有一个空的users表，其中列有：id、user和hadoop，它为我提供了像(id, user)这样的数据，但是将它保存到了一些hadoop-output.txt而不是MySQL。
是否有命令行命令通过Sqoop从HDFS导入到MySQL？
浏览 10提问于2017-04-07得票数 0
回答已采纳
我使用--as-sequencefile选项将一个表从MySql导入到HDFS中。然后，我创建了一个带有STORED AS SEQUENCEFILE子句和LOCATION子句的Hive表，该子句指向存在Sqoop导入序列文件的HDFS位置。
Sqoop导入命令：
sqoop import --connect jdbc:mysql://sandbox.hortonworks.com:3306/hirw --username root --password hadoop --table stocks -m 2 --as-sequencefile --target-dir /user/root/o
浏览 6提问于2016-06-02得票数 0
我使用sqoop命令创建了一个单元内部表。
sqoop import -Dmapreduce.map.memory.mb=4096
--driver com.mysql.jdbc.Driver
--connect 'jdbc:mysql://{mysql_url}'
--username 'xxxx'
--password 'xxxx'
--input-fields-terminated-by '\t'
--split-by id
--target-dir {hdfs_path}
--verbose -m 1
--
浏览 2提问于2019-01-06得票数 0
1回答
我想将数据从HDFS复制到hive表。我试过在下面的代码，但它不会抛出任何错误，数据也没有复制到提到的蜂窝表。下面是我的代码：
sqoop import --connect jdbc:mysql://localhost/sampleOne \
--username root \
--password root \
--external-table-dir "/WithFields" \
--hive-import \
--hive-table "sampleone.customers"
其中，sampleone是hive中的数据库，而customers是最
浏览 2提问于2018-04-29得票数 0
SQOOP是否支持将hdfs中的特定列导出到mysql？
例如，现在我有一个hdfs文件，如下所示：
866138000211400 4 com.spreadst.validationtools 1 1310090804 0 0
866138000211400 4 com.spreadst.validdate 1 1310090804 0 0
866138000211400 4 com.spreadtrum.android.eng 1 1310090804 0 0
866138000211400 4 com.tencent.mm 261
浏览 5提问于2013-10-10得票数 2
我试图让Sqoop读取mysql表的内容。到目前为止，我已经成功地转储了HDFS表的全部内容，并且还成功地获得了基于id的增量更新。我不能做的是基于日期或日期时间戳获得增量更新。该作业似乎运行正常(没有错误)，但没有写入HDFS。
我正在运行的命令是：
sqoop import
--connect jdbc:mysql://localhost/myDb
--username me
--password myPassword
--warehouse-dir /inc-3
--table myTable
--incremental las
浏览 3提问于2015-12-03得票数 3
我使用mysql将hdfs表复制到sqoop中，然后使用"create external table“命令在impala中创建同名表。
现在，我有更多的数据要插入到impala表中，使用java api of Impala，即ImpalaService.jar。请帮助我在表中使用java api插入数据。
谢谢。
浏览 2提问于2014-05-14得票数 1
回答已采纳
在使用Avro数据/模式创建Hive外部表时，我遇到了问题：
采取的步骤如下：
从MySQL - HDFS导入数据作为AVRO。
将.avsc文件从本地传输到HDFS，打开该文件，模式就像预期的那样良好。
作为SQOOP导入的结果，HDFS中已经验证了数据。
现在创建了一个外部表，将模式指向步骤2，数据位置指向步骤# 3。
Hive命令行声明创建的OK表。ShotTables显示表，并验证从色调标注的文件位置是正确的。
当从HIVE命令行查询表时，会得到一个错误：
java.io.IOException:java.io.IOException:不是数据文件。
h
浏览 0提问于2016-09-11得票数 1
我一直在关注这篇关于如何使用Hive分析推特数据的文章：
我已经设置了flume来收集twitter数据并写入HDFS。我已经设置了一个指向相同HDFS位置的配置单元表。
当我在配置单元中运行类似这样的命令时:从推文中选择entities.user_mentions.screen_name；
我得到的响应如下: OK Time Time: 0.16秒。
无论我运行什么查询，我都得不到任何结果。
由于我不熟悉配置单元，我是希望在配置单元命令行中看到结果，还是必须从mySQL中挖掘结果。mySQL是metastore。
浏览 0提问于2016-11-14得票数 0
我希望在Ignite中为新的mysql表动态创建缓存。我在运行时没有表的类定义。我经常在HDFS中为这些表获取avro格式的新数据。如果该表不存在，我希望通过在运行时创建缓存，将增量数据输入Ignite缓存，然后将数据放入缓存中。另外，我还想查询这些数据。另外，如果MySql中的模式发生了变化，会发生什么？Ignite中的BinaryCache会帮助解决我的用例吗？
浏览 5提问于2017-09-30得票数 0
回答已采纳
3回答
我正在尝试将一个表从MySql数据库导入到hive表，以了解表名如何是我已经在HDFS主目录中导入的设备。我使用下面的语句在hive中创建了一个表。
create table device_hive (device_num int,device_name varchar(255));
现在，我在sqoop导入语句下面执行，以便将数据从Mysql数据库中的device表获取到Hive。
sqoop import --connect jdbc:mysql://localhost/loudacre --table device
--username training --password train
浏览 6提问于2016-09-25得票数 0
回答已采纳
当我使用此命令将表导入配置单元时
sqoop import \
--connect jdbc:mysql://192.168.200.33:3306/db_socmed_gp \
--username=fanta \
--password=fanta \
--table=tb_gp_account \
--hive-import \
--hive-database=db_socmed_gp \
--target-dir=home/fanta/db_socmed_gp2 \
--driver com.mysql.jdbc.Driver \
--direct
我在sqoop导入数据到Hive时出错
浏览 4提问于2016-10-31得票数 0
我需要将数据从MySQL导入到HDFS，我正在使用Apache Sqoop实现这一点。但问题是，我还需要将数据从HDFS导出到MySQL，并且在将数据移动到MySQL之前，我需要更新这些数据的一列(即在HDFS中)，我该如何做？
浏览 13提问于2018-12-26得票数 1
回答已采纳
我有一个没有主键和日期/时间戳的表。这个表就像一个不断保存所有数据的事务表(No delete/update)。
我现在的问题是，每次运行增量加载时，我都想将数据注入HDFS，而不需要再次加载整个表。
如果我的表有主键，下面的代码将获取导入到HDFS的最新行。
sqoop job \
--create tb_w_PK_DT_append \
-- \
import \
--connect jdbc:mysql://10.217.55.176:3306/SQOOP_Test \
--username root \
--incremental append \
--check-column P_i
浏览 3提问于2016-01-15得票数 5
回答已采纳
我希望使用sqoop将所有表从mysql导入到自定义数据库(而不是Hive默认数据库)。
尝试采取的步骤：
在“/user/ hive /仓库/Custom.db”下创建一个自定义数据库
为该目录分配所有权限--因此sqoop在写入此目录时不会出现任何问题。
在CDH5.7VM上使用下面的命令和选项"--hive-database“选项：
sqoop导入-所有表--连接"jdbc:mysql://quickstart.cloudera:3306/retail_db“--用户名retail_dba --密码cloudera --hive-数据库”/user/hive/
浏览 5提问于2016-08-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
