我正在尝试通过mysql查询(无连接)从表中删除超过200万条记录。该表有大约8000万条记录。
我使用的是set autocommit=0;，它需要很长时间才能完成。如果我使用autocommit=1运行查询，速度会更快吗
浏览 2提问于2013-03-19得票数 0
回答已采纳
2回答
我有一个包含2100万条记录的MySQL数据库，我试图对大约100万条记录进行更新，但是ERROR 1206 (HY000): The total number of locks exceeds the lock table size.的查询失败了
可以在不获取锁的情况下更新表吗？
我无法更改MySQL配置参数，如innodb_buffer_pool_size。是否有不同的方法来实现同样的目标？
谢谢
编辑
--我已经批量尝试了5000次，工作了几次，但是我得到了相同的错误----我尝试过锁表来锁定整个表，但仍然无法工作。
浏览 9提问于2011-02-02得票数 5
回答已采纳
2回答
我有多个客户端插入记录到一个中央mongo数据库中的表(其中有300万条记录)。如果是mysql/oracle，我可以使用sql-loader/存储过程来批量处理插入。有没有通用的方法来优化这样的senario？
浏览 1提问于2014-03-18得票数 0
我的MySQL数据库中有150多万条记录。如果我运行rake任务将数据索引到AWS ElasticSearch中，则需要3天以上才能完成索引。有没有其他方法可以更快地进行索引？
浏览 0提问于2018-04-17得票数 0
我需要将SQL Server2008Express中4个表中的大约200万条记录传输到MySQL。
在C#中，我可以使用在事务中非常快速地插入这些记录。(大约50秒)。
我如何在C#中为MySQL做类似的事情？
浏览 0提问于2009-05-29得票数 0
回答已采纳
我遇到了Python脚本的问题，它基本上只是逐行分析CSV文件，然后使用FOR循环将每一行插入到MySQL表中：
f = csv.reader(open(filePath, "r"))
i = 1
for line in f:
if (i > skipLines):
vals = nullify(line)
try:
cursor.execute(query, vals)
except TypeError:
sys.exc_clear()
i += 1
retu
浏览 3提问于2010-02-18得票数 1
回答已采纳
我正在为不同的客户制作独特的托克斯。对于每个客户端请求，我必须生成100万个唯一令牌。生成唯一的标记需要很长时间，因此我使用延迟作业gem在后台执行此活动。
Flow of my application is as below
1) Client machine sends an api request to remote server to generate 1 million unique tokens.Remote machine sends response back to client machine with status "pending" and start g
浏览 1提问于2015-12-23得票数 0
回答已采纳
我正在尝试从另一个表(在同一个Microsoft SQL Server中)插入数百万条记录到Microsoft SQL Server表中，并使用row_number()函数进行批号计算，如下所示。
CEILING((ROW_NUMBER() OVER (ORDER BY ITEM,LOC))/CONVERT(FLOAT,'''
+CONVERT(VARCHAR(55),@PLANNING_BATCH_SIZE)+'''))-1+convert(float,'''+convert
浏览 0提问于2019-02-26得票数 0
要求在Sql Server2005中对1000万条记录执行更新和插入操作。我已经使用T-SQL创建了一个存储过程。我们是否需要在上面的过程之后进行提交，比如一次提交10000条记录。如果是这样，我该如何为每10000条记录编写一条commit语句。任何想法都将不胜感激。
浏览 4提问于2010-12-07得票数 0
回答已采纳
1回答
我需要在MYSQL中插入文本文件中的记录，这不是问题。
问题是文本文件包含数百万条记录。这意味着处理一个文本文件将导致数百万个插入查询。此外，我不能(不想)使用PHP Infile，因为我必须对文本文件执行一些数据提取。将该文件存储到Blob字段中这不是我想要的。
浏览 0提问于2013-05-08得票数 0
回答已采纳
尽管news表有超过6500万条记录，但我在Kafka主题中看不到任何记录。连接器配置：
curl -X POST http://localhost:8083/connectors -H "Content-Type: application/json" -d '{
"name": "news_fetcher",
"config": {
"connector.class": "io.confluent.connect.jdbc.JdbcS
浏览 18提问于2021-06-06得票数 0
1回答
我有一个非常笼统的问题：
1.)假设我有一个事务(在mysql中)，它包含对一万条/十万条甚至一百万条记录的修改。与非常“小”的交易相比，这些交易是线性昂贵的吗？或者，大事务会比小事务消耗更多的资源吗？(换句话说，必须避免)。
2.)当提交这么大的事务时，mysql上的负载会跳到一个非常高的值，直到事务完全处理，这是真的吗？
这个问题主要与MySQL有关，但如果有“好得多”的服务器，那么听到它们会很有趣。是的，服务器/系统有相当多来自其他进程的负载(因此它不是系统上唯一正在处理的事务=中/高争用)。隔离级别是“更高/最高”的隔离级别(它带来了真实事务的所有好处)。
非常感谢
浏览 2提问于2011-06-18得票数 7
我试图从MySql DB读取6,000万条记录，需要根据一些计算每天更新date列，同时尝试从Node.js读取并续写，它将堆从内存异常中抛出。阅读、更新和重新推荐的最佳方式是什么？
db.sequelize.models.transaction.schema("dpunit").findAll({
order: [
['txndate', 'asc']
]
}).then(txnList => { // txnList have 6million records
let valueUpdated =
浏览 8提问于2022-10-30得票数 1
我在一个数据集中有50万条记录，其中50,000条被更新。现在，我需要将更新后的记录提交回SQL Server 2005数据库。
考虑到这样的更新可能是频繁的(虽然并发性不是问题，但是性能是)，那么做这件事的最好的和有效的方法是什么？
浏览 2提问于2010-05-13得票数 4
回答已采纳
3回答
在MySQL提交事务之前，它将首先编写重做日志，然后提交事务，即预先写入日志。
start transaction;
update users set uuid = UUID() from user where id = 1
update users set uuid = UUID() from user where id = 2
update users set uuid = UUID() from user where id = 3
...
...
update users set uuid = UUID() from user where id = 1,000,000
// not y
浏览 0提问于2018-12-21得票数 1
回答已采纳
我们的客户端发送CSV文件(平均30万条记录)。我们在Microsoft 数据库中导入。
在从CSV文件导入数据时，我可以加密(SHA和其他)吗？？如何将查询(选择、插入和更新)发送到数据库？来自coldfusion或Microsoft 。
应用服务器: Coldfusion 9,9+和Lucee数据库: Microsoft 2008+
例如，im已经在mysql中使用。我在MSSQL中看起来是一样的：
MYSQL示例
插入：
INSERT INTO List_encrypted
(fname,Lname,email)
Values
(AES_ENCRYPT(fname,'dbke
浏览 0提问于2015-12-08得票数 2
回答已采纳
我正在尝试将csv文件加载到Mysql。该文件有一百万条记录，所以我正在进行1000的批量插入。我使用python库sqlalchemy和pymysql。在第一批插入后，我得到了错误
( pymysql.err.InternalError) (1366年，“不正确的字符串值：‘\xC2\xC2\xB7\xC3\xA5.’
第50行的“FHCNM”栏。我想跳过这个特定的批次，插入剩下的批。我是用python中的try..except..finally块来实现这一点的。在这里，我在不同的批中得到相同的错误(pymysql.err.InternalError)。如何多次处理单个异常？现在，我试着
浏览 1提问于2020-05-02得票数 0
我有一个非常大的表，它是以编程方式创建的，需要运输才能添加到远程站点的SQL Server数据库。
做这件事最好的方法是什么？
该表可能包含数十万条非常短的记录，其内容需要添加到现有的表中。
浏览 1提问于2011-06-20得票数 1
回答已采纳
我正在尝试使用mySql中的dih导入大型数据。下面是batchSize =-1用于mySql的数据源
<dataSource batchSize="-1" driver="com.mysql.jdbc.Driver" ..... />
如果获取所有1000万条记录。但最后说完全进口失败了。我在日志中得到以下异常。：
2017-03-14 07:27:04.429 ERROR (Thread-14) [ x:companyData] o.a.s.h.d.DataImporter Full Import failed:java.lang.Runt
浏览 0提问于2017-03-14得票数 1
回答已采纳
1回答
我在Neo4j上批量上传了两个不同的文件，比如文件“A”(包含10000条记录)和文件"B“(包含9000条记录)。现在我有了第三个文件，即文件"C“(有1000万条记录(行))
文件"C“描述文件"A”和文件"B“之间的关系。
当开始处理文件"C“时，它抛出Java堆大小异常，我有4 GB的ram，堆大小增加到3 GB。尽管我将文件"C“的大小减少到200万条记录，但它工作得很好
Iam使用的是Neo4j 1.9版本。
请说明一下，为什么会这样？以及如何独奏。
提前感谢:-)
浏览 4提问于2013-07-29得票数 0
我在我的网站上有一个注册表，通过PHP提交用户注册信息到MySQL数据库。现在，我还想将其中一些信息提交给我创建的MailChimp列表。
我不想使用Mailchimp作为注册表单，我也不想让mailchimp给他们发送一封电子邮件来确认他们的订阅(我目前的注册表单已经做到了这一点)。
我知道我可以导出我的注册人到cvs文件，然后直接上传，但我只希望用户的信息是自动提交的。我已经看过列表订阅的事情，但它似乎不会做我正在寻找的。有什么想法吗？
浏览 1提问于2013-07-20得票数 0
是否有一个很好的方法来删除所有内容和网页提交的特定IP地址？我确信这可以用MySQL命令来完成，但我希望有一种比手工操作数据库更安全的方法。
谢谢!
Drupal 7.50公域
浏览 0提问于2017-01-23得票数 3
我必须重新插入MongoDB中的记录。我使用了一个简单的逻辑，但它没有起作用。请帮我解决这个问题。
from pymongo import MongoClient
import json
import sys
import os
client = MongoClient('localhost', 9000)
db1 = client['Com_Crawl']
collection1 = db1['All']
posts1 = collection1.posts
ll=[]
f=file(sys.argv[1],'r')
for i
浏览 4提问于2017-05-04得票数 0
回答已采纳
2回答
我正在处理一个批处理过程，它将慢速遗留数据库中的80万条记录(每次记录提取time...it加起来1.4-2ms)中的~80万条记录转储到MySQL中，这样可以执行得更快一些。为了优化这一点，我一直在将所有的MySQL记录加载到内存中，这使使用量达到了大约200 To。然后，我开始从遗留数据库中转储并更新记录。
最初，当它完成更新记录时，我将调用SaveContext，这将使我的内存从大约500 my 800 my跃升到1.5GB。很快，我就会摆脱内存异常(正在运行的虚拟机有2GB的RAM)，即使我给它提供更多的RAM，1.5-2GB的内存仍然有点过高，这只是为问题提供了一个创可贴。为了弥补这
浏览 6提问于2012-06-29得票数 9
回答已采纳
1回答
我将要向一个有37M行的表中添加一个新列。该列将保存关联ID。
简单模型：
class SeenEpisode < ActiveRecord::Base
#show_id is the new column
attr_accessible :user_id, :season_id, :episode_id, :show_id
belongs_to :episode
belongs_to :season
end
这是我能想到的最快的方法：
seen_episodes = SeenEpisode.where("show_id IS NULL")
seen_ep
浏览 0提问于2013-05-25得票数 1
回答已采纳
我试图使用Lambda函数将近20万条从CSV文件读取到RDS (MySQL)的记录插入其中。完全插入所需的时间将近10分钟，这是非常令人关切的。我想知道如何提高插入速度。
我试过的技巧：
使用准备语句进行批处理插入，如下所示：
BufferedReader lineReader =新BufferedReader(新InputStreamReader(inputStream，Charset.defaultCharset()；//inputStream是来自csv文件try (PreparedStatement batchStatement = connection.prepareStateme
浏览 1提问于2021-08-11得票数 0
我有一个表，其中有大约1/2万条记录。
每个月我们要导入的记录增加了大约1/2万条。这些当前被推入到DB中的另一个表中，但最终将直接从txt文件加载。对于这些新记录中的每一个，我必须确定我们是否已经拥有该记录，如果没有，则需要插入该记录。然而，如果我们有记录，它需要更新。这些更新的逻辑包含在C#代码中。
C#命令行程序正在处理这些新数据的导入，因此现在有1/2万条select语句-每条记录一条。然后，生成一组insert和update语句(也是大约150万条)并对数据库运行。
在我的工作站上运行这个程序大约需要6个小时。你对如何加快速度有什么想法吗？我需要运行大约60个这样的大型导入，以使数据
浏览 4提问于2009-01-01得票数 1
回答已采纳
1回答
插入序列的MySQL优化
、、、、
我有一个实时应用程序，它处理信息并将其记录到MySQL数据库(实际上是MariaDB，MySQL的一个分支)。它每天执行大约150万次插入+15万次删除。
我在性能上有很大的问题，不知道如何让它运行得更好。
这个应用程序的基本结构是我有一个producer类，它将Struct推送到threadsafe deque。下面的代码
#include "dbUserQueue.h"
dbUserQueue::~dbUserQueue() {
}
void dbUserQueue::createConnection()
{
sql::Driver * driver = sq
浏览 0提问于2011-01-25得票数 2
回答已采纳
我有一个http端点，在请求进入这个端点时，我需要创建一个巨大的数据库(超过百万条记录)转储并生成单个xml文件。我计划写一个组件，它将查询与分页，然后将其写入文件？我是个新手。我可以将数据从组件流式传输到文件连接器中吗？如果是，该怎么做呢？
浏览 2提问于2013-09-24得票数 2
我正在制作一个应用程序，能够显示日志文件和通过它们搜索，在C#中。我需要数据提供程序，可以插入30万条记录真的很快。有人有什么建议吗？我目前使用的是Microsoft Compact server3.5，运行速度非常慢。我尝试了sqlite，但它的执行速度很慢，因为我不能进行批量插入。
浏览 0提问于2009-07-15得票数 2
2回答
我们的项目需要近乎实时的搜索和不断的更新。数据当前存储在MySQL数据库中，并且随着数据库的修改，Lucene索引也会随之更新。
我们目前在我们想要的地方有搜索功能。然而，我们正试图在索引/数据库中添加“标记”文档的功能。由于数据点可以是数百万条记录，我们不希望更新Lucene索引来进行标记(或者如果有一种方法可以批量更新Lucene，也可能会起作用)。相反，我们在MySQL中有一个文档in表，我们希望使用它来确定标记集。
到目前为止，我找到的最好的选择是以整数数组的形式检索这两个is列表，对它们进行排序(所以我只需要循环一次)，然后遍历并查找两者之间的匹配(尽管这并不理想，因为我们可能会丢失
浏览 4提问于2010-02-11得票数 1
我们必须在多个表中插入两百万条记录，现在我们正在写入CSV文件，并使用db2导入将其加载到数据库中。
我们希望将此逻辑更改为某种JDBC。在研究多个选项时，我混淆了Spring JDBC模板和普通JDBC。
假设我想要将100万条记录插入到10个表中，每个表将有10万条记录，并且所有这些都是简单的JDBC语句(不是准备好的语句，因为我不知道在运行时处理的是哪个表)。
无论我们选择哪种系统，都需要为峰值请求插入多达1500万条记录。
哪个框架会更好？
浏览 8提问于2010-12-14得票数 2
有没有人知道如何从SharePoint 2013年文档列表中进行批量删除？我需要立刻删除近一百万条记录。从列表中使用delete选项本身非常耗时，一次只能删除前100条记录。打扫卫生真的很忙。
对于文档库，在资源管理器视图中打开它比较容易，然后可以选择no。如果您已经设置了一个视图，则只能删除前100个文件，然后继续下去，直到该视图下的所有文件都被删除为止。
有更简单的方法来做导出和批量删除或任何好的工具吗？
使用视图从文档库导出和大容量删除文档。使用视图的原因是，我们只需要根据某些筛选标准的日期范围(今天-100)导出和删除文档。
同时，也要从包含数百万条记录的列表中大容量删除。
浏览 3提问于2017-11-28得票数 0
我有一个表'abc‘，列id、inTime、outTime。
当前结构：
<code>A0</code>
示例数据：
<code>A1</code>
我需要添加一个列nextInTime，它将具有与上面行的InValue相同的值。
<code>A2</code>
示例数据：
<code>A3</code>
我必须在新列(NextInTime)中填充大约1,000万条记录的数据。实现这一目标的最好方法是什么
浏览 13提问于2018-12-21得票数 0
我正在对一个阅读器和一个写入器使用分块步骤。我从Hive读取50000块大小的数据，并以同样的50000提交插入到mysql中。
@Bean
public JdbcBatchItemWriter<Identity> writer(DataSource mysqlDataSource) {
return new JdbcBatchItemWriterBuilder<Identity>()
.itemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterS
浏览 3提问于2020-02-10得票数 1
我正在向SQL Server 2005表中插入大约200万条记录。该表当前既有聚集索引，也有非聚集索引。我希望提高该表中insert查询的性能。有没有人知道
浏览 1提问于2011-12-20得票数 0
我有一个遗留的表，其中有大约170万条记录。根据建议，我正在使用Liferay的服务构建器api将这些记录插入到Liferay的表中，以使用Liferay的服务api来处理Liferay的表。
最初，我使用(实体)LocalServiceUtil.getEntities(-1，-1)来获取所有记录并逐个插入，我意识到一次读取170万条记录是愚蠢的。
然后我从数据库中读取增量为5000的记录。虽然这是有效的，但它也有自己的甜蜜时光。有没有其他方法可以让这个过程更快？或者，不同的delta值可以解决这个问题吗？
浏览 4提问于2015-05-18得票数 0
1回答
在当前的场景中，我有一个Rtree实例，其中我添加了数百万条记录，大约需要1小时才能创建。我想知道是否可以使用多个映射器创建多个RTrees &然后将它们合并到还原器中以创建最终的RTree？是否有特定的合并Rtree技术可用？我该怎么解决这个问题？有什么帮助是非常感谢的吗？
浏览 1提问于2014-01-11得票数 0
回答已采纳
我正在创建一个工具，允许管理员从数据库中清除数据。我们的one集合有数百万条记录，删除操作会占用整个系统。最初，我只是运行一个查询，返回一个Page，并将其放入标准的delete中。理想情况下，我更喜欢一次性运行查询和删除。 @Query(value = "{ 'timestamp' : {$gte : ?0, $lte: ?1 }}")
public Page deleteByTimestampBetween(Date from, Date to, Pageable pageable); 这是可能的吗，使用上面的代码，当程序不继续删除功能，数据不从mongo
浏览 25提问于2019-12-13得票数 1
回答已采纳
1回答
假设我的数据库中有一个名为comments的表。每个评论都有一个id、一个指定的帖子和它的数据(用户提交的实际文本)。假设我有10,000个帖子，每个帖子有10条评论。总共有10万条评论。如果用户加载了一篇帖子及其评论。
我用来加载评论的代码是否会读取所有10万条评论来挑选出postID为11的评论，或者它会立即看到postID为11的10条评论并将它们挑出来(这将比查看100,000条评论要快得多)。在这种情况下，MySql做了什么？
浏览 0提问于2016-11-16得票数 0
如果我们使用的是CSVDriver，Scriptella (1.0版本)会在开始写入CSV文件之前将所有记录读取到内存中吗？如果我从数据库读取1000万条记录，那么它在开始写入文件之前读取所有这1000万条记录，还是以批处理模式读取？
提前谢谢。
浏览 2提问于2012-11-26得票数 1
1回答
我需要在一个循环中将数据从一个表插入到另一个表中，每次循环有10k行。
我想尝试一下，因为我的insert into ***() select () from ###占用了很多时间，因为源表有几百万条记录。
通过使用这种方法，性能会有所提高吗？
浏览 1提问于2013-08-06得票数 1
1回答
我有五根线。他们同时将OracleBulkCopy(1百万条记录放到同一个表(EXCEL_DATA)中。但在某一时刻，我会犯以下错误：
ORA-00604:在递归SQL级别1 ORA-00054发生错误:资源繁忙并使用指定
我正在为OracleBulkCopy使用下面的代码：
using (OracleConnection con = new OracleConnection(ConnectionString))
{
con.Open();
using (var bulkco
浏览 0提问于2012-09-11得票数 5
我试图在MySQL中批量插入500万条记录，但得到了ActiveRecord::StatementInvalid: Mysql2::Error: closed MySQL connection错误。
我正在使用延迟的作业来批量插入500万条记录到数据库中。出于测试目的，我点击了5个HTTP请求，每个请求都包含将100万条记录批量插入数据库的请求，因此总共有500万条记录将被插入到数据库中。我正在运行5个延迟作业的实例来执行批量插入。
浏览 1提问于2015-12-07得票数 0
我正在将记录从一个服务器导入(传输)到sql server中的另一个服务器:表A(服务器1) ->表B(服务器2)。表A中的记录总数为200万条。它有时太慢了。
是否有用于清除或缩小事务日志的脚本？
事务日志会影响性能吗？
浏览 0提问于2018-04-14得票数 0
2回答
我必须更新一个包含数百万行的表。更新非常简单，但是由于它将修改数百万条记录，我想知道什么是最好的解决方案：
执行一次重大更新。
更新表，并使用大容量收集/forall语句在小批中提交更改。
我会采用第一种解决方案，但一位同事建议我分批处理，这样它就不会阻止其他会话访问表。
那么，哪种解决方案更好呢？
谢谢,
浏览 2提问于2016-09-23得票数 0
9回答
确切地说，我不是一个数据库人，而且我的大部分db工作都是在使用MySQL，所以如果这个问题中的某些内容非常天真，请原谅我。
我需要从拥有大约1亿行的Oracle表中删除550万行。我有临时表中需要删除的行的所有in。如果只有几千行，我会这样做：
DELETE FROM table_name WHERE id IN (SELECT id FROM temp_table);
COMMIT;
是否有什么需要我注意和/或做不同的事情，因为它是550万行？我想做一个循环，类似这样的事情：
DECLARE
vCT NUMBER(38) := 0;
BEGIN
FOR t IN (SELECT i
浏览 8提问于2009-03-13得票数 15
回答已采纳
2回答
我正在寻找最快的方法在我的sql服务器上复制表及其内容，只是简单地复制表，并将源和目标放在相同的服务器/数据库上。
目前，使用存储过程select * into sql语句，复制超过470万条记录需要6.75分钟。这太慢了。
CREATE PROCEDURE [dbo].[CopyTable1]
AS
BEGIN
DECLARE @mainTable VARCHAR(255),
@backupTable VARCHAR(255),
@sql VARCHAR(255),
@qry nvarchar(max);
SET NOCOUNT ON;
S
浏览 2提问于2014-07-23得票数 8
1回答
JSON输入的性能问题
、、、
我正在通过水壶从mongodb源代码加载mysql表。Mongodb表有超过400万条记录，当我运行水壶作业时，完成第一次加载需要花费17个小时。即使对于增量负载，它也需要一个多小时的时间，我试图增加提交大小，并给任务更多的内存，但性能仍然没有提高。我认为JSON输入步骤需要很长时间来解析数据，因此它非常慢。在我的转变中，我有这些步骤
Mongodb输入步骤
Json输入
切线
如果字段值为空
Concat字段
选择值
表输出
从postgre提取相同的400万条记录要比mongodb快得多。有什么办法可以提高我的表现吗？请帮帮我。
谢谢，Deepthi
浏览 6提问于2013-08-28得票数 1
我在MYSQL Table1数据库中有一个表，其中包含200万条记录，我会预约并只返回前10条记录；
接下来就是SELECT FROM table1 LIMIT 10;，它只返回这10条记录。
当我在表中运行EXPLAIN SELECT from table1 LIMIT 10;报告时，或者两百万条记录只返回10条。
如何防止SQL查询(MYSQL)读取整个表？
浏览 0提问于2014-02-20得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
