我将尽我最大的努力来解释我的目标是什么。我在网上搜索的所有东西对我来说都不够相关，无法获得一个想法。
首先，这是一个PHP任务，我们必须将CSV文件加载到MySQL数据库中。
现在，每个表(总共4个)都有完全相同的字段值。我试图完成的是使用for each循环，该循环使用CSV文件中的信息填充每个表。我知道我可以通过为每个表和CSV文件使用一个while循环来做到这一点，但我正在尝试超越要求，学习更多关于PHP的知识。下面是我想要实现的代码：
$files = glob('*.txt'); // .txt required extension
foreach($files a
浏览 0提问于2015-10-17得票数 2
我有这种情况。我正在使用的站点配置了没有MySQL的InnoDB。我的让MySQL服务器与InnoDB一起运行。
问题:如果我导出远程站点的MySQL数据库并将其导入到本地的Ubuntu MySQL中，这会没有任何问题吗？假设我使用mysql命令行mysqldump导出它，并通过命令行恢复它。数据库有点大，所以我需要先检查一下这是否有效。
我计划在本地导入它，这样我就可以测试站点所需的功能。请告诉我这个计划是否行得通。谢谢:)
浏览 6提问于2014-05-15得票数 0
回答已采纳
我使用的是MySQL数据库，我有一个非常大的表，一年内可以达到100,000,000行。不幸的是，它变得越来越慢。
在这种情况下，最好的解决方案是什么？NoSQL可能是一个解决方案吗？
在同一个项目中使用MySQL和MongoDB怎么样？这样，我们就不会改变以前的数据库结构，只对这个大表使用MongoDB。
浏览 2提问于2015-04-08得票数 1
所以我有一个大表，有20多亿张记录，还有5个多列键。
有两种方法可以用于插入数据：
方法1
load data infile ...;
方法2
alter table disable keys;
load data infile ...;
alter table enable keys;
如果我从一个空表开始，对于20亿条记录，方法1大约需要60小时(估计可能更长)，而方法2则需要12小时来插入数据，以及3小时重新创建密钥。到目前一切尚好。
然而，如果我已经有了20亿条记录，并试图再插入500万条，那么方法1大约需要3小时，而方法2则需要30分钟来插入数据，而重新创建密钥则需要7小时。我证实，
浏览 6提问于2011-03-04得票数 5
2回答
我是个数据库新手，需要帮助。我有n个(大)文件，每个文件包含m个(非常大的)文本文件(数字数据)。将这些文件导入mysql数据库的最佳方式是什么？
浏览 0提问于2011-10-30得票数 1
2回答
我有一个mysql数据库和一个74 GB的表。我目前正在使用mysql命令将这些数据加载到mysql数据库中。它花了10多个小时还在运行。有没有办法将数据并行加载到mysql数据库中？一种方法是将表数据实际拆分成多个文件，然后对每个文件调用load。但是，这更像是一种黑客行为。stackoverflowers后面有什么东西吗？
谢谢。
浏览 0提问于2010-06-05得票数 0
回答已采纳
1回答
我有一个非常大的CSV文件，其中包含每天到来的每个客户的200万日志数据，我们必须开发分析工具，给出各种CSV文件数据组的摘要。
我们使用Mysql-InnoDB进行开发，但运行速度非常慢。我们已经在表和硬件上应用了适当的索引，也很好。
Mysql是否支持这次的分析工具，或者我是否需要检查任何其他数据库？
每个SQL Select查询需要15-20秒的时间来从单个表中获取输出。
浏览 3提问于2017-03-22得票数 0
我正在尝试组合两个现有的MySQL MyISAM表为一个新的使用PHP。下面是我的PHP代码：
$sql = "CREATE TABLE new_table SELECT * FROM table_1 UNION SELECT * FROM table 2";
mysql_query("$sql");
注意:这些表相当大，有3000多万个条目。
因此，我在浏览器中打开PHP文件，以便它执行脚本。我用phpmyadmin监视数据库，一开始什么也没有发生。然后，大约30分钟后，表"new_table“就会出现，其中包含所有正确的数据。
是缓冲还是缓存"
浏览 0提问于2011-06-15得票数 0
2回答
我使用以下命令在MySQL中创建增量备份
mysqldump -uusername -ppassword db_name --flush-logs > D:\dbname_incremental_backup.sql
但是，sql文件与完整备份一样大，显然导入它也需要很长的时间。有人能告诉我如何创建增量备份并只从每个增量备份导入新数据而不是再次导入整个数据库吗？
我读过dev.mysql.com的所有相关文章，但仍然不明白如何做。
浏览 0提问于2013-01-30得票数 0
回答已采纳
1回答
MySQL中的大文本数据类型
、、、、
我试图弄清楚是否应该在MySQL中存储文本文件(65535字节或更少)，还是根本不使用MySQL。性能是首要考虑因素，然后是易用性，因为我是一个新手。
如果我想使用数据库，什么是数据类型的好选择？VARCHAR可以用于如此大的数据、文本或BLOB吗？不确定是哪一个。
浏览 0提问于2014-01-01得票数 3
回答已采纳
首先，我已经在前几篇文章中检查过这个问题，这里给出的答案对我没有用，这就是为什么我试图从这个帖子中得到一个实用的答案。
我试图使用以下方法将一个8GB备份文件导入到mySQL中：
mysql.exe -u root -p -h localhost dev8 < C:\dev8.sql
经过20分钟的处理后，它说：
ERROR 2006 (HY000)在第8465行: MySQL服务器已经离开
是的，我在/bin/my中用一个非常大的数字改变了max_allowed_packet，它不起作用，所以我也在我的-巨大的，我的无害的-重的4G，我的-大的，我的-中。
我还将phpmyadmin配
浏览 1提问于2014-01-06得票数 0
回答已采纳
1回答
我需要在远程服务器上导入一个非常大的MySQL表。通常我用的是
mysql -u mysql_user -pMypass db_name < sql_data.sql
但完成这项任务大约需要5个小时。我尝试使用nohup，但注销进程正在关闭导入。我发现我可以用屏幕，但没有任何运气。
screen -dmS import_table mysql -u mysql_user -pMypass db_name < sql_data.sql
请给我建议一下我还能尝试什么。谢谢。
浏览 0提问于2014-02-27得票数 1
回答已采纳
我的舞台：
使用python (IDE:Spyder)Pull数据连接到MySql数据库，使用python将dataframeConnect转换为Google，使用python将数据写入GoogleBigQuery
我是个初学者。因此，当我想更新数据时，我删除google大查询中的表，然后再次运行python代码。现在我想自动更新数据。使用python可以做到这一点吗？
浏览 16提问于2021-07-01得票数 0
假设我的集群上有"100k条记录“，数据库中有”1亿条记录“(例如:MySql)。
如何才能仅将这两个数据集之间的公共记录放入"dataFrame“或"RDD”中，而不将全部1亿条记录物理地移动到集群中？
这些“一亿条记录”可能每天都在增加。因此，仅将其与"100k“的小数据集进行比较，我不想从数据库中移动整个大型数据集。
"mapPartitions“在这里有什么作用吗？
浏览 1提问于2019-12-25得票数 0
当我在GCP BigQuery中为大型分区表选择查询时，
select * from <myBQtable> limit 10;
我还没有点击"Run“按钮，它告诉我”这个脚本在运行时将处理2TB。“
我不知道为什么“限制10”查询仍有这么大的成本。
浏览 8提问于2022-04-05得票数 0
回答已采纳
我有一个非常大的CSV文件(>1 GB)和一个Google Cloud SQL表来移动它。图形界面是否能够快速处理导入？LOAD DATA INFILE不受支持，那么有没有其他方法可以移动大型CSV？源数据仅为文本形式，而不是来自其他MySQL。
浏览 2提问于2016-04-14得票数 1
我正在导入一个MySQL转储，并得到以下错误。
$ mysql foo < foo.sql
ERROR 1153 (08S01) at line 96: Got a packet bigger than 'max_allowed_packet' bytes
显然在数据库中有附件，这使得插入非常大。
这是在我的本地机器上，一台安装有MySQL 5的MySQL的MySQL软件包。
我max_allowed_packet可以在哪里更改以导入转储？
还有什么我应该设置？
只是运行mysql --max_allowed_packet=32M …导致相同的错
浏览 579提问于2017-12-26
关于mysql /var/lib/mysql
有一个名为“ibdata1”的文件非常大，它占用了我的服务器很大的空间，mysql没有启动
我怎样才能停止增长ibdata1文件大小，请帮助我
非常感谢
浏览 0提问于2017-11-11得票数 0
2回答
我有一个由78,000个records.Im组成的CSV文件，使用smarter_csv ()解析csv文件。我想从我的rails应用程序中将它导入到MySQL数据库中。我有以下两个问题
从我的rails应用程序中快速将这么大的数据集导入MySQL的最佳方法是什么？使用resque或sidekiq创建多个员工是一个好主意吗？
我需要将这些数据插入到一个给定的表中，该表存在于多个数据库中。在Rails中，我只与一个数据库进行模型对话。那么，如何扩展解决方案，以便从我的模型中与多个mysql数据库对话呢？
谢谢
浏览 5提问于2013-11-12得票数 1
回答已采纳
我想使用Python上传一个大的xml文件到MySQL数据库。我可以使用lxml对其进行解析，然后将记录逐条上传到MySQL。但我只是想知道是否有一些库可以让它变得更容易。
浏览 2提问于2011-10-14得票数 1
我有一个数据流作业，它从bigquery表(在大表之上创建)读取。数据流作业是使用java中的自定义模板创建的。我需要处理bigquery的大约5亿条记录。我面临的问题甚至是读取100万条记录，大查询读取需要26分钟，数据流工作需要36分钟。在大查询中读取太慢。
任何关于如何提高阅读性能的建议。
浏览 10提问于2022-12-02得票数 1
假设我有一个非常大的表，其中充满了大量数据(也就是说，这些数据不足以放在内存中)，并且我想分析行的一个子集。
这样做通常会更快吗：
SELECT (column1, column2, ... , columnN) FROM table WHERE (some complicated boolean clause);
然后使用ResultSet，或者这样做会更快：
SELECT (column1, column2, ... , columnN) FROM table;
然后遍历ResultSet，根据布尔条件的java版本接受不同的行？
我认为这归结于Java iterator/boolean计
浏览 0提问于2010-04-25得票数 3
回答已采纳
1回答
我有一个非常大的.csv文件，我正在从mysql查询向其中写入行。我不能直接导出，因为我必须处理每一行，但这不是什么大问题。问题是当我在文件上调用fwrite()时，我得到了一个内存不足的异常：
Allowed memory size of 1572864000 bytes exhausted (tried to allocate 2262361 bytes)
只有当文件大小达到700MB左右时，才会发生这种情况。失败的代码在一个循环中，如下所示：
$file=fopen(export_path."/".$filename, "a");
fwrite($file
浏览 5提问于2015-01-15得票数 2
3回答
将.JSON导入MySQL
、、、、
我有一个非常大的(200k+行)和一些复杂的.JSON文件，我需要存储在MySQL中，以便我可以查询它。
这个.JSON被分成两个主要部分，“边”和“节点”，下面是这两个部分的一个例子：
{
"edges": [
{
"source": "279364692",
"target": "282656527",
"id": "2959",
"attributes
浏览 2提问于2016-06-20得票数 1
回答已采纳
1回答
我们今天的设置采用XML数据，并在SQL中将这些数据拆分成多个表。这样做的唯一好处是报告效果很好。然而，每当我们想要检索数据时，我们就必须重新绑定数百个表中的所有数据，以便重新导出XML。每个XML可以是几MB到几GB。
具有讽刺意味的是，我们很少运行报告，但确实经常检索/保存数据。由于将其拆分/编译为多个表，因此保存和检索效率都不是很高。
由于数据是以XML形式传入的，因此我正在考虑更新我们的方法，并将XML作为一个大的BLOB保存到表中。那就太简单了。
现在的问题是报告-如果没有索引blob的能力，我想知道我可以有哪些选项来尽可能高效地运行报告。
数据库的容量是100 GB。
我不是数据库
浏览 0提问于2012-10-01得票数 4
回答已采纳
客户端只有大约1000行数据(当然是最近的)，只是在其中一个表中丢失了。在进行一些取证时，我发现其他所有行中的"last_updated_date“也被设置为与删除发生的时间大致相同的时间。这不是他们的大桌子之一。
还有一些奇怪的地方是，上周的面积都是一样的-- 10375605093字节。以前的转储增加了大约.5GB每一个。MySQL转储命令是标准的：
/path/to/mysqldump -S /path/to/mysqld2.sock --lock-all-tables -u username -ppassword database > /path-to-backup/$(
浏览 4提问于2011-08-05得票数 1
我有一个相当大的MySQL表(关于15,000+行)，我正在寻找一种方法来执行以下查询，但以一种更有效的方式：
SELECT col, otherCol, theOtherCol
FROM table
WHERE anotherCol > 0
ORDER BY ohACol DESC
这个查询在我的VPS上使用了太多的RAM，我可以理解，因为它选择了超过15,000行。我确实知道我需要15,000+中的哪5个索引(按照DESC顺序排序后)。我怎么才能只把这5个放入我的结果集中，而不是全部放入15,000个呢？
浏览 4提问于2018-02-18得票数 0
回答已采纳
我希望将数据从MySQL迁移到SQL Server。我的第一个想法是采用.bak格式的数据备份并转储到SQL Server中。那么，有没有办法获得.bak格式的MySQL数据库备份文件呢？
否则，有没有更简单、更容易的方法将数据从MySQL迁移到SQL Server？
浏览 2提问于2012-05-05得票数 2
1回答
我们如何将数据从elastic search发送到google big query，是否有特定的连接器？我一直在寻找各种选择，将需要数据在谷歌大查询实时可用
浏览 0提问于2018-03-28得票数 0
1回答
我有一个相当大的csv文件(5亿行)，其中一个字段是一个字符串。但是，该文件所提供的格式不包括字符串周围的“”。是否有一种方法可以将其导入MySQL数据库，而无需编写连接程序来分解数据、添加引号并为逐行插入语句重新组合数据？
浏览 1提问于2016-12-21得票数 0
回答已采纳
我每天都需要将大量行从SQL Server数据库传输到MySQL db (MyISAM)。我已经将MySQL实例设置为链接服务器。
我有一个简单的查询，它返回需要传输的行。行数将增长到大约40,000行，每行只有2个字符(11)列。这应该相当于大约0.8MB的大小。SELECT查询的执行时间可以忽略不计。在每天插入记录之前，我将截断MySQL表。
我在MySQL链接服务器中使用INSERT...SELECT查询来执行插入。对于40,000行，大约需要40秒。为了查看将这些行数从一个MySQL表移动到另一个表需要多长时间，我从MSSQL中执行了一个远程查询，耗时接近1秒。
我看不出SSMS中的执
浏览 0提问于2010-07-30得票数 4
回答已采纳
1回答
我不知道为什么，但是昨天mysql停止工作了。我有Ubuntu 14.04。
我做了这个：
service mysql start
并得到以下错误：
df：'/var/lib/mysql/.'：权限被拒绝
* /etc/init.d/mysql:错误: /var/lib/mysql的分区太满了！
然后我使用sudo运行相同的命令并得到以下消息：
启动MySQL (Percona )数据库服务器mysqld
它一直在启动，但无法启动，因为sudo service mysql status给了我以下内容：
停止MySQL (Percona )
浏览 1提问于2015-11-26得票数 0
我希望使用mySQL框架将一个JSON文件(也可以作为CSV)插入到cakePHP数据库中。基本知识是明确的，但周围的需求使其难以实现：
JSON/CSV文件很大(大约是。200 MB和高达200.000行)。
该文件包含几个字段。这些字段需要映射到mySQL数据库中具有不同名称的字段。
CSV包含一个名为art_number的字段。此字段也存在于mySQL数据库中。art_number是唯一的，但不是mySQL中的主键。如果CSV和数据库具有相同的mySQL art_number，我想更新art_number记录。如果不是，应该创建一个新的记录。
CSV文件的几个字段需要在存
浏览 8提问于2015-10-06得票数 0
回答已采纳
3回答
我目前正在上传维基百科的一个转储文件。它有1GB压缩和~7GB未压缩。它已经进口了6个小时了。目前，MySQL中导入的表的大小为1.5GB(data+indexes)。它会继续导入直到表的大小达到7GB吗？
注意:外部HDD上数据库的数据目录。考虑到这只是一个发展，所以我不关心真正的表现。
浏览 0提问于2012-01-31得票数 2
回答已采纳
我有很多来自MySQL的记录。我对数据进行了修改，以便使用ActiveRecord将其成功插入到PostgreSQL中。我可以很容易地做到这一点，以行为基础的插入，即一次一行。这非常慢，我想进行大容量插入，但如果任何行包含无效数据，则此操作将失败。有没有什么办法可以实现大容量插入，并且只有无效的行会失败，而不是整个大容量？
浏览 1提问于2013-06-07得票数 1
4回答
我正在尝试将一个非常大的.sql文件导入我的数据库。该文件当前为20 is大小。我尝试使用控制台mysql数据库< backup.sql，但现在花费了超过24小时，mysql服务器没有任何反应。
我怎么能导入这么大的文件？我认为拆分是可行的，但如何才能正确拆分呢？它只是一个包含多个insert语句的表。
浏览 0提问于2013-03-02得票数 8
假设我们有两个非常大的数据帧--A和B。现在，如果我对两个RDDs使用相同的散列分区器，然后执行连接，那么键将被同时放置，并且通过减少洗牌，连接可能会更快(唯一会发生的洗牌是在A和B上分区器发生变化时)。
我想尝试一些不同的东西--我想尝试像->这样的广播连接，假设B比A小，所以我们选择B来广播，但是B仍然是一个非常大的数据格式。因此，我们要做的是用B制作多个数据帧，然后将每个数据帧作为广播发送到A上。
有人试过这个吗？要将一个数据帧拆分为多个，我只看到了randomSplit方法，但这看起来并不是一个很好的选择。
还有其他更好的方法来完成这个任务吗？
谢谢!
浏览 2提问于2017-12-11得票数 3
现在这种情况已经发生了两次，第一次我认为是因为我的计算机在导入过程中崩溃了，并在这个过程中损坏了一些东西，但它只是再次发生了这种情况。我导入了相当大的数据量(100 no ~)和大约10 no(两次都是)，这就是它失败的时候，无论我怎么尝试都无法重启服务器，最终我不得不重新导入数据。
错误：
ERROR 2006 (HY000): MySQL server has gone away
No connection. Trying to reconnect...
ERROR 2002 (HY000): Can't connect to local MySQL server through
浏览 2提问于2018-03-29得票数 1
我正在尝试将我公司的旧MySQL数据库迁移到SQL Server2008上。
我正在使用SQL Server Migration assistant for MySQL软件，除了大表(有些包含大约1.5亿+行)之外，一切都运行得很好-它创建模式，等等，当我选择迁移数据时，它停留在Migrating myTable > myTable with 0 of 159216578 rows processed上-它保持这种状态大约1-2个小时，然后崩溃，并告诉我它无法创建错误文件。
是否有任何我可以更改的内容/设置以使其正常工作？有没有更好的方法(如果我也可以这样做的话，我可以访问.frm、.M
浏览 2提问于2013-02-01得票数 5
在我的windows phone应用程序中，我使用HttpWebRequest获取image.But异常。当我签出流时，抛出了ReadTimeout异常。
我如何增加时间？？因为我得到的数据非常大。
浏览 1提问于2014-01-09得票数 0
我需要一次将网格视图中的所有行插入Server 2005数据库。
行数可以是1到n(不超过200行)
我调查了下列方案：
循环:我想避免迭代。
表数据类型:仅在Server 2008及以后版本中可用
批量复制:在大容量数据情况下非常有用。我不确定是否可以使用它，插入更少的行(性能方面)
我还能用什么？
浏览 5提问于2012-08-28得票数 1
我试图使用Windows机器上的Workbench 6.3 (CE)将数据库从MSSQL 2014迁移到MySQL 5.7。我已经将max_allowed_packet的值设置为my.ini文件中的1G。但是，在尝试迁移数据时，我仍然会得到错误。我得到这个错误的表只有一条记录，即使是我怀疑是这个问题的字段，也没有那么大的值<results><result documentId="1" queryCode="AZ100" queryValue="I"/></results>。该字段在MSSQL中以nvarchar
浏览 2提问于2016-06-29得票数 0
我正在试验.NET中的Tcp连接，我想发送一些比TcpClient对象的SendBufferSize大的数据。是否可以通过简单地写入网络流来发送数据，或者我是否需要将其切成小块并发送，然后在另一端重新创建它？
浏览 0提问于2010-06-23得票数 3
回答已采纳
1回答
大型MySQL数据库转储/恢复
、、、、
有一个非常有趣的任务:必须从AWS中转储mysql数据库并在私有云上恢复。数据库非常大:160 in、120 in和21 in每个db.sql转储--在同一个极光rds实例中的所有3个实例，AWS中的实例快照都有700 in。MySQL版本5.6，使用innodb。目前已经运行了20个小时，我的估计是它将在4-6小时内完成，所以完整的恢复大约是24小时，这对生产环境来说是太长的停机时间了。我的问题是:如何调优mysql以加速恢复？提前谢谢你。
三个半小时内就完成了。
浏览 0提问于2020-05-02得票数 2
如果我使用cp在几个小时内复制一个非常大的文件并决定停止操作，那么rsync是否可以在以后完成操作而不需要重写数据呢？
浏览 0提问于2018-09-01得票数 3
我有一个iOS应用程序，它广泛使用sqlite3数据库。我需要在这些表的很大一部分中添加一列。这些表都不是我真正认为的大表(我习惯于处理MySQL表中的数百万行)，但考虑到iOS设备的硬件限制，我希望确保它不会成为一个问题。最大的表将是几十万行。他们中的大多数都是几百到几千或数万。
我注意到sqlite3只能将列添加到表的末尾。我假设这是某种类型的速度优化，但可能只是数据库文件格式的一个约束。
将一行添加到sqlite3表的时间成本是多少？
它只是简单地更新模式而不更改表数据吗？
时间是否随着表中的行数或列数的增加而增加？
我知道这个问题的明显答案是“只是测试”，我很快就
浏览 0提问于2012-02-06得票数 1
回答已采纳
1回答
在Workbench中，我将整个DB设计导出到一系列CREATE TABLE语句中。由于大小查询(有超过50个表)，我遇到了错误。我能做些什么来让MySQL接受大查询吗？
另外，我有一个很大的SQL来插入虚拟数据。我想我也会遇到同样的问题。
SQL查询在一个文件中。我想以编程方式打开文件，获取查询，然后执行它。我使用PHP/CodeIgniter。
浏览 2提问于2011-12-07得票数 1
回答已采纳
1回答
我正在寻找一种将所有csv文件插入到MySQL中的方法，而无需编写多个LOAD DATA INFILE语句。
我有许多csv文件，我需要插入和文件本身是非常大的。
我试过*.csv，但这不起作用。
浏览 0提问于2014-01-29得票数 8
回答已采纳
2回答
我有一个SQL文件，其中包含两个总共约600,000行的表。昨天，我尝试将文件导入到我在Fedora16上的MySQL数据库中，结果花了2个多小时导入文件。在我的Windows PC上花了7分钟。我的Linux和Windows机器具有完全相同的硬件。我的几个朋友也尝试过，他们也有类似的经历。
我们使用的命令是：mysql -u root database_name < sql_file.sql。
为什么速度会有这么大的差异？
浏览 2提问于2012-04-19得票数 43
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
