我试图在MySQL中批量插入500万条记录，但得到了ActiveRecord::StatementInvalid: Mysql2::Error: closed MySQL connection错误。我正在使用延迟的作业来批量插入500万条记录到数据库中。出于测试目的，我点击了5个HTTP请求，每个请求都包含将100万条记录批量插入数据库的请求，因此总共有500万条记录将被插入到数据库中。我正在运行5个延迟作业的实例来执行批量插入。
浏览 1提问于2015-12-07得票数 0
5回答
有没有办法在MySQL服务器上批量执行像INSERT OR UPDATE这样的查询？将不起作用，因为如果该字段已经存在，它将简单地忽略它并且不插入任何内容。将不起作用，因为如果字段已经存在，它将首先对其执行DELETE操作，然后再次对其执行INSERT操作，而不是更新它。将会起作用，但不能批量使用。
所以我想知道是否有像INSERT ...ON DUPLICATE KEY UPDA
浏览 3提问于2011-06-09得票数 33
回答已采纳
2回答
MySQL的C API是否支持批量更新？我正在编写一个应用程序，其中某些事务是以大批量处理的。如果在日志记录过程中，我最终为每个insert执行一次call DB，那么效率将非常低下。C有没有类似于Java的用于批量SQL更新的API？N.
浏览 2提问于2009-03-20得票数 1
问题:使用MySql (来自.NET和PHP后台)执行异步批量插入(如果Node.js可以处理，则不需要大容量)在C#(.NET)中，我会使用dataTable来包含每个函数中的所有行，并在最后大容量地将dataTable插入数据库表中。编辑：答案: MySql或MongoDB都不支持任何类型的大容量插入，它只是一个foreach循环。它们都能够同时处理
浏览 1提问于2012-02-19得票数 0
回答已采纳
1回答
我有一个包含两个进程的系统，其中一个进程执行单个插入，另一个执行批量插入。显然，第二个过程更快，我正在努力将第一个过程迁移到批量插入机制，但是今天早上我被一个同事的问题难住了，这个问题是“为什么批量插入比单个插入更快”。
那么，为什么批量插入比单个插入更快呢？另外，考虑到MySQL和HBase的数据库架构完全不同，它们的批量插入和单个插入之间有区别吗？我在我的项目中使用了这两种方法，我想知道这两个数据库的批量插入和单个插入是否有区别。
浏览 2提问于2013-02-07得票数 1
回答已采纳
class="com.mchange.v2.c3p0.ComboPooledDataSource"> }); sqlSession.close();
它在小批量插入
浏览 2提问于2017-08-08得票数 1
我发现MySQL反过来会独占所有系统资源，有时还会导致服务器崩溃。我的表是MyISAM的(如果有必要并且不会丢失数据，我可以更改它们)。MySQL版本: 5.1.56
谢谢
浏览 9提问于2011-08-22得票数 1
回答已采纳
1回答
我在MySQL中做批量删除，当我做100条记录时，它工作得很好，但是由于语法错误，它失败了。我不确定这是否与MySQL的内存设置有关。
浏览 3提问于2012-03-09得票数 0
回答已采纳
4回答
在使用PHP (mysqli)时，有没有办法批量删除MySQL？insert into tbl (...) values (...) (...) (...) ...
浏览 2提问于2011-10-09得票数 3
回答已采纳
2回答
我正在尝试编写一个Flink应用程序，它从Kafka中读取事件，从MySQL中丰富这些事件，并将这些数据写入HBase。我正在RichFlatMapFunction中进行MySQL丰富，现在我正在尝试找出如何最好地写入HBase。我想批量写入HBase，所以我目前正在考虑使用WindowAll，然后使用identity apply (只是为了返回DataStream)，然后编写一个HBaseSink，它获取一个记录列表并对HBase执行批量Puts。
浏览 0提问于2019-09-27得票数 0
1回答
如何并行删除多个表
、、、
我正在对20左右的多个表执行批量删除。但现在它们是按顺序(一个接一个地)的。因此，他们正在花时间。可以使用python或Mysql并行批量删除吗？它们都是独立的表。有什么建议请提出来。
浏览 15提问于2021-01-15得票数 0
2回答
轻量级内存数据库
、、
我们需要创建一个临时内存数据库，然后执行各种插入/选择/更新。那么，还有其他基于SQL的轻量级内存数据库，支持批量插入吗？如果没有这样的-，是否有一种方法可以像内存数据库那样利用重量级数据库，如PostreSQL (MySQL或其他主要参与者)？如果postresql/mysql不是一种可行的方法，那么还有其他的C级优化的数据结构
浏览 5提问于2013-01-24得票数 0
回答已采纳
1回答
我需要从WX2数据库中选择一些数据，并将其放入MYSQL DB中。有人能在这方面帮我吗？mysql数据库要连接到WX2数据库，ODBC.ini配置是否有效？
谢谢
浏览 4提问于2014-09-18得票数 0
1回答
我正在做一个项目，涉及插入到数据库中的大量数据。我想知道是否有人知道如何在数据库中填充2或3个表在相同的time.An示例或伪解码将是有帮助的。谢谢
浏览 1提问于2010-04-10得票数 2
2回答
我可以在mysql_query上使用循环，但这对我的资源没有好处。我现在做的代码是 mysql_query("INSERT INTO badwords (word) VALUES('".
浏览 6提问于2014-02-08得票数 1
回答已采纳
2回答
我正在寻找类似于Java中的jdbc驱动程序的方式，在PHP中执行一批更新。在jdbc中，有一个PreparedStatement.executeBatch()的API，它在一个到DB的往返过程中执行所有语句。PHP PDO是否有类似的API，如果没有，启动事务、执行更新然后提交是否会产生相同的效果，即在一个到DB的往返过程中执行所有更新，或者每个更新都会往返到DB并立即执行语句(尽管其他人看不到，因为它在事务中
浏览 0提问于2013-03-29得票数 1
1回答
现在，我正在使用Spring (使用hibernate + MySQL (MyIsam表+外键))编写代码，使用Spring数据存储库为数据服务编写代码很容易，但性能太慢。我尝试在MySQL cmd中直接执行相同的插入操作(在一个过程中使用硬编码的“插入字符串”)，它显示了时间- 0,85秒。即使这样的结果对我来说也太慢了，但这是MySQL的问题。阅读论坛，我发现了，它说Spring不能正确地执行批量插入。
我如何使我的应用程序更快？我希望使用大小类似于1000或1000以上的批
浏览 7提问于2013-07-21得票数 1
目前我在一个数组中有16k行数据，我使用for循环遍历数据并执行INSERT语句。换句话说，在mysql中，每个循环执行一条"INSERT“语句。这样做了16000次。这需要很长时间。有没有更好的嵌入批量数据的方法？
浏览 2提问于2012-10-10得票数 0
回答已采纳
我有一个很大的xml文件要加载到mysql中。这是约20 GB的未压缩，但我想我可以压缩到约25%的原始大小，然后批量上传到一个压缩表。我知道我可以压缩数据库本身中的数据，但它可以在批量添加过程中读取压缩文件吗？
编辑:我所说的压缩并不意味着它是一个.gz.tar文件或者任何东西。如果这是不可能的，我是否可以做一些像批量上传，但以某种方式过滤它通过一个程序，解压缩的内容？我正在考虑用C打开这个文件，并在将其加载到mysql时对其进行压缩。问题是，我希望在批量插入而不是数百万个单独的插入中
浏览 3提问于2012-06-12得票数 4
回答已采纳
我想创建一个spring-batch作业，将csv内容(在内存中)批量加载到mysql数据库中。那么，如何使用ItemWriter来执行批量插入呢？(String csv, PreparedStatement ps) throws SQLException {
浏览 8提问于2017-08-17得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
