3回答
我计划使用一个使用Hadoop、Hive和Impala的堆栈来分析大数据。我已经准备好了设置，现在我正在尝试从MySQL表中导入数据。表大小超过500 GB，我计划使用Sqoop，如下所示：
sqoop import --connect jdbc:mysql://remote_host_ip/database_name --usernamehive-import --compression-codec=snappy --as-parquetfile --warehouse-d
浏览 26提问于2016-08-24得票数 1
5回答
我导入一个数据库，当我运行mytop时，我只看到一个线程在运行一个insert。在一个80 On的大型数据库上，这需要很长的时间。是否有任何增加线程数量的工具或选项？
浏览 0提问于2012-01-31得票数 2
回答已采纳
4回答
sqoop中默认的映射器和还原器有多少？(4-映射器，0-减缩器)。在本地集群中，它显示的是使用0后的--where or --query condition减速器。
浏览 7提问于2017-10-08得票数 1
回答已采纳
我有大约17000行和6列的数据添加到数据库的4个不同的表中。这是通过上传excel文件并单击导入按钮来完成的。注意！我使用的是一个excel到mysql的插件，这对于该项目是必要的，因为它是程序的功能之一。通常情况下，插入到表中的数据不会那么多。虽然需要很长时间，但一切工作正常。
浏览 32提问于2019-02-22得票数 2
我想从Mysql的模式中导入所有具有并行性的表。模式中有主键的表很少，没有主键的表很少。如果我们设置了no of mappers(--m>1)，那么没有主键的表就会失败。如何导入所有具有并行性的表？
浏览 3提问于2021-06-10得票数 2
1回答
我目前正在处理一个4 4gb的dump.sql文件，所以我尝试使用mysql服务器控制台从它创建一个数据库。以下是我在终端中使用的命令： mysql -u username -ppassword
mysql> use test;
mysql> source在那之后，我可以毫无问题地访问创建的数据库。 规格: 16核英特尔处理器，60 16内存，120 16固态硬盘。我也尝试过用python来实
浏览 15提问于2020-01-24得票数 0
我计划编写一个程序，在关系数据库中并行地更新或导入一串数据，比如Oracle或Server、Mysql等。以下是Java中每个并行线程中的执行代码模型：//a batch of DMLstatement.commit关切:这两个阶段的实施可能已经并行进行。如果是这样的话，那么并行地实现这个程序可能没有什么大意义，因
浏览 0提问于2018-03-10得票数 0
我使用bash脚本将一些数据导入到MySQL数据库中。我正在使用作业并行加载... for i in *.sql; do echo "importing $i"
mysql --defaults-extra-file
浏览 15提问于2020-12-14得票数 1
我正在尝试理解sqoop作业中默认的最大映射器背后的原因，以及我们是否可以在sqoop作业中设置四个以上的映射器以实现更多的并行性。
浏览 1提问于2017-04-21得票数 4
我需要将大小约为25 GB的MySQL数据库导入到aws rds.How。我可以这样做吗？我尝试使用RDS的phpmyadmin。但是我的浏览器挂起了on.Also我的AWS没有公网IP。
浏览 0提问于2018-07-19得票数 1
2回答
我正在尝试从MySQL转储.sql文件导入数据，以便导入到MongoDB中。但是我看不到任何从关系型数据库到NoSQL数据迁移的机制。我曾尝试将数据转换为JSON and CSV，但在MongoDB中没有给m提供所需的输出。除了我已经尝试过的东西之外，还有什
浏览 3提问于2017-02-08得票数 9
回答已采纳
1回答
我正在寻找一种将MySql转储转换为MySql的方法。
由于我运行的是Debian，所以无法选择并行设置MySql和MySql，因此不能使用taps或ODBC方法。
浏览 4提问于2013-10-29得票数 1
数据库的大小约为10 in，有几个表包含超过1500万条记录。不幸的是，由于客户关系超出了我的职责范围，这只出现在一个大型的SQL格式的mysqldump文件中，但是您知道这是怎么回事。我的目标是最大限度地减少停机时间，从而尽可能快地导入数据。我尝试使用标准的MySQL命令行界面，如下所示：然而，这是非常慢的。为了加快速度，我使用awk将文件分成块，用于每个表和相关数据</em
浏览 2提问于2011-03-15得票数 6
1回答
我需要执行大数据分析，比如查找两个表之间的差异。到目前为止，我一直在使用文件系统上的HIVE来完成这项工作，但是现在我们已经将所有文件行插入到Aurora中。但仍然每月我需要做同样的事情，找到差异。将Aurora数据作为文件导出回S3，然后对其运行单元查询(将所有Aurora行导出到S3需要多长时间)？
我可以在Aurora表上运行蜂箱查询吗？
浏览 1提问于2018-10-09得票数 0
我想追加大约7亿行和2列到一个数据库。在R中，我一直在使用data.table包加载大型数据集，这只需要1分钟。Python中有没有类似的包？作为切点，我还希望将此文件物理存储在我的桌面上。现在，我假设'data‘被存储为一个临时文件。另外，假设我将数据加载到数据库中，我希望查询立即或更短时间内执行。):从本质上讲，我返回的是一组给定users.Is的屏幕数量数据</
浏览 0提问于2016-04-24得票数 1
数据库是在HDD硬盘中设置的。我有mysql (Ver 8.0.29-0ubuntu0.20.04.3)设置如下：innodb_log_buffer_size = 512M
浏览 0提问于2022-06-26得票数 1
回答已采纳
2回答
Sqoop能够使用--query子句从多个表导入数据，但不清楚它是否能够导入下面的查询。按部门从emp组中选择deptid、avg(薪资)
$CON
浏览 8提问于2016-05-05得票数 2
尝试使用MySQL将数据从CSV文件插入到Ruby，而且速度非常慢。请注意，这不是一个Rails应用程序，只是独立的Ruby脚本。fileend@connection = ActiveRecord::Base.establish_connection(
:adapter=> "mysql2
浏览 4提问于2015-10-23得票数 2
回答已采纳
我是SSIS的新手，我正在尝试使用它的并行特性从数据库导入数据。
我的工作是:尽快将一个to级的数据库导入到一组平面文件中。我正在考虑编写一个HPC SOA作业，以便所有三个计算节点都可以独立连接到SQL Server，并并行导入一部分数据。当然，这与SSIS无关，是一个独立的实用程序。然后我遇到了SSIS，以及它的并行导入特性。我的SSIS服务器不是很高端-只有4 4GB的机器。不知何故，我倾向于
浏览 2提问于2011-05-19得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
