我们的MySQL和Hadoop平台部署在不同的网络中，Hadoop不能访问MySQL，但是MySQL可以连接到Hadoop。那么，是否有一个工具可以像Sqoop获取数据那样将大量数据从RDS推送到HDFS？或者有没有其他方法可以解决这个问题？
任何帮助都是非常感谢的。顺便说一句，Hadoop集群在我们的网络中使用了一个Kafka主题，通过在两边部署水槽并连接在一起。但是对于海量的RDS数据，如何实现这一点呢？
浏览 1提问于2019-02-20得票数 0
1回答
我们有版本PHD3.0Hadoop集群用于5个节点，使用ambari安装在rackspace上。我们必须迁移到Google。。但没有得到步骤如何进行以下操作Q2：要备份哪些组件和文件夹？什么是命令？Q3：如何备份名称和数据？有什么能帮上忙的吗？
浏览 1提问于2016-11-14得票数 0
如何将50 it的RDBMS数据迁移到hadoop中并进行处理？使用hadoop处理50 by数据的最低硬件要求是什么？
浏览 16提问于2019-06-25得票数 0
回答已采纳
我在Hbase中通过nutch保存了我的爬行数据，其文件系统是hdfs。然后，我通过命令将我的数据(hbase的一个表)直接从hdfs复制到某个本地目录。hadoop fs -CopyToLocal /hbase/input ~/Documents/outputhadoop fs -CopyFromLocal简单地说：
我希望使用hadoop命令将hbase表复制到本地文件系统中
浏览 2提问于2014-09-18得票数 11
回答已采纳
是否有Sqoop连接到不同的Hadoop集群，从而可以创建多个Sqoop作业来将数据导出到多个hadoop集群？
浏览 1提问于2017-06-18得票数 0
回答已采纳
我在Hadoop集群中创建了一些表，我有一些带有数据的拼板表可以放入其中。我该怎么做？我想强调的是，我已经有了一些DDL命令创建的空表，并且它们也存储为parquet，所以我不需要创建表，只需要导入数据。
浏览 4提问于2021-12-10得票数 -1
2回答
关于hadoop-minicluster我需要你的帮助libraryDependencies += "org.apache.hadoop“% "hadoop-minicluster”% "3.1.0“% Test
没有添加源代码，也无法导入包org.apache.hadoo
浏览 1提问于2018-04-18得票数 1
回答已采纳
我用腾讯云的学生机在CentOS7的系统上搭建了Hadoop的伪分布式的环境，配置等都正常，datanode，namenode 等进程都正常开启，http的50070也都能正常访问，空间足够，然后用Windows\n".getBytes()); output.close();下面是Hadoop的logs文件夹中hadoop-ma-namenode-spring.log文件的报错
2018-04-19 19:22:42,078
浏览 3962提问于2018-04-19
Hadoop2.6使用Yarn作为下一代地图减少，同时也是集群管理器。对于集群管理服务，我们还需要使用Hadoop2.6中的ZooKeep2.6吗？我们怎么设置动物园管理员。如何为hadoop集群安装Kafka连接。什么是卡夫卡的消费者和生产者将数据发送到hadoop文件系统。我已经设置了Hadoop2.6单节点集群。接下来，我理解的方法是让动物园管理员和Kafka负责数据
浏览 2提问于2015-07-27得票数 4
回答已采纳
但是，当我将Spark应用程序部署到集群时，会遇到以下错误：为了解决这个问题，我将ssh放入集群的每个头节点和工作节点中，并手动将Hadoop依赖项从2.7.3降为3.1.x，以匹配本地spark/jars文件夹中的版本。将集群从HDI4.0降级不是一个选项，因为它是唯一能够支持星火
浏览 9提问于2020-07-13得票数 3
回答已采纳
我想从Azure表导入数据，然后导出到Azure上的Hadoop群集。目前，我正在将Azure表中的数据下载到.csv中，然后将.csv上传到Hadoop集群。我想知道有没有办法直接做到这一点。
浏览 0提问于2013-03-05得票数 3
1回答
我需要将大量数据从Oracle数据库移到Hadoop，而不需要连接这两个系统。是否可以通过Sqoop直接将数据从Oracle导出到本地文件系统，而无需导入HDFS。我想导出到ORC，然后通过外部磁盘将文件移动到Hadoop集群。
浏览 1提问于2016-06-23得票数 0
回答已采纳
3回答
我有两个hive表，具有相同的列和数据类型等，我想将数据从一个表复制到不同集群中的另一个表。
hive或sqoop是否提供了一种简单的方法来实现这一点？
浏览 2提问于2013-10-15得票数 2
我正在研究使用Hadoop集群上的Hive，然后使用Presto对Hadoop中存储的数据进行一些分析，但我仍然对一些事情感到困惑：
Hadoop和Hive是分开存储数据还是Hive仅仅使用Hadoop中的文件？(在硬盘空间等方面？)->是这样的，Hive是在表中从Had
浏览 3提问于2014-01-24得票数 1
回答已采纳
2回答
Sqoop从蜂巢到蜂巢的导入
、、、、
我们能否使用DataSource Sqoop从Hive DataSource导入表到Hive DataSource。org.apache.sqoop.tool.ImportTool.run(ImportTool.java:601) at org.apache.hadoop.util.ToolRunner.run
浏览 6提问于2015-07-19得票数 0
我们有一个带有hadoop-1.0.1的hbase-0.94集群。我们不希望在使用hadoop-2.5.1升级到hbase-0.98时此群集出现宕机
我使用hadoop-2.5.1配置了另一个hbase-0.98集群，并希望将hbase-0.94表复制到hbase-0.98
浏览 2提问于2016-07-27得票数 2
1回答
我已经使用Cloudera Manager和CDH 5.4在集群系统上成功地安装了Apache (1个主服务器，2个具有基于Ubuntu的高配置的从站)
我希望将数据从Microsoft导入到HBase(基于列的hadoop数据库)，到目前为止，我已经从server生成了CSV文件，并使用HBase浏览器( Cloudera中的Hue应用程序)将CSV导入到HBase中。如果有任何方法可以直接将SQL server数据导入HBase，这将对我很有帮助，
浏览 5提问于2015-07-27得票数 0
回答已采纳
如何不用distcp命令将数据从一个Hadoop集群移动到另一个Hadoop集群。因为我们不能用这个。我们还有其他选择像Sqoop或Flume吗？
浏览 2提问于2015-10-13得票数 0
2回答
我目前有一个web应用程序，它与Oracle中的所有数据一起运行。在较高级别上，应用程序由一个java、一些java、一些Ajax和oracle数据库组成。我想知道将整个套件转换为Hadoop会花费多少工作成本？下面是一些问题，可以帮助我掌握它。这里也有一些Ajax，这与SQL和Hadoop有什么不同？
在解释与Hado
浏览 3提问于2014-03-27得票数 2
回答已采纳
我们的Hadoop集群中有3.5TB的数据(在hdfs上是的)。我们新建了一个分片MongoDB集群(最新的3.x)，其中包含3个mongos、3个configdb和3个碎片(每个碎片有1个主节点和2个辅助节点)我们对此没有太多的经验，也不
浏览 0提问于2015-09-15得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
