通过Python使用大容量插入

文章/答案/技术大牛

发布

1回答

python、mysql、csv、sql-insert

我在拆分bulk-insert的值时遇到了问题，因为这样做的目的是让每10个值一次插入一次，然后读取CSV文件的全部内容代码已经插入到读取整个CSV文件的一行中，但我无法在将来执行值的除法，一次插入

浏览 4提问于2019-10-31得票数 0

1回答

Python中的Mongodb大容量插入限制

python、mongodb、pymongo、bulkinsert

使用PyMongo可以大容量插入的文档数量有限制吗？我指的不是MongoDB的16mb文档大小限制，而是我希望通过Python批量插入的文档列表的实际大小。

浏览 0提问于2013-05-26得票数 4

回答已采纳

1回答

如何大容量插入SQLAlchemy子类(联合继承)

python、sqlalchemy

我试图将SQL-Alchemy子类大容量插入到父表及其相应的表中，即水果表、-> Apple，因此我插入了一个APPLE的表，它将将这两个行插入到水果表中，然后给我水果表中该行的id，并将其放在Apple每次插入一行时使用，但由于性能原因，我需要它与大容量插入一起工作。我尝试过大容量插入失败，并且尝试了单行插入，但是问题是，除了自动生成的行的id之外，这个数

浏览 0提问于2019-07-18得票数 0

回答已采纳

1回答

提高以下TSQL代码的性能

tsql、sybase

我正在使用带有TSQL的Sybase DB。= @orderId SOURCE_TABLE ORDER_ID = @orderId可以看到，我是基于相同的条件插入和删除相同的行集

浏览 0提问于2012-08-21得票数 0

回答已采纳

1回答

使用SQL身份验证时出现批量插入错误

sql-server、ssis、bulkinsert、ssis-2012

使用SQL身份验证时会收到SSIS大容量插入错误，而使用windows身份验证时可以插入数据。大容量插入任务错误:出现以下错误消息：“无法大容量加载，因为文件"C:\BCP\extract_remove_ref.bcp”无法打开。操作系统错误代码3(未能检索此错误的文本。

浏览 1提问于2019-03-18得票数 2

2回答

使用sp_xml_preparedocument在父表和子表中进行大容量插入

sql、sql-server、bulkinsert

我正在使用sp_xml_preparedocument进行批量插入。但我想在父表中进行大容量插入，为每个新插入的行获取scope_identity，然后在子表中进行大容量插入。我可以通过在过程中获取父表的表变量，并在应该插入到父表中的表中插入数据来实现这一点。现在循环游标中的每一行，在实际表中插入，然后在子表中插入。但是有没有更好的没有光标的方

浏览 0提问于2013-05-23得票数 1

1回答

大容量插入操作处理记录时没有错误

c#、sql-server、bulkinsert

据我所知，使用C#和SQL Server大容量插入数据的最佳方法是使用表类型并传入数据表。我们当前的流程是一次处理/插入一条记录(即使有数千条记录)，这样我们就能够成功地处理有效记录并报告错误。有没有办法进行大容量插入操作，从而允许插入有效记录而使无效记录失败？如果是这样，您如何找出哪些记录通过，哪些记录失败或导致错误？

浏览 1提问于2016-04-06得票数 0

1回答

如何在Python中将大量数据插入Cosmos DB？

python、azure、azure-cosmosdb、azure-cosmosdb-sqlapi

我正在用Python开发一个应用程序，它使用Azure Cosmos DB作为主数据库。在应用程序的某个时候，我需要将大量数据(一批项)插入Cosmos DB中。到目前为止，我一直在使用与Cosmos DB通信；但是，它没有提供批量数据插入的方法。据我所理解，这些是在这个SDK中提供的插入方法，这两种方法都只支持单个项插入，在for循环中使用它时会非常慢：是否有另一种方法可以

浏览 21提问于2022-08-03得票数 0

回答已采纳

1回答

大容量插入mysql，但来自对象数组

node.js、node-mysql

我已经调查了这个 RowDataPacket { user_id: 1028, session_id: 3, notification_id: 2 } ] ] 在插入之后

浏览 22提问于2016-09-19得票数 0

2回答

如何在oracle中不带before触发器的c#中使用OracleBulkCopy插入序列值

.net、oracle、copy、bulk

在.net中使用Oracle大容量复制，我正在尝试将记录大容量插入到table.if表中，该表包含主键序列列，如何在大容量插入时将值插入主键列。如何使用OracleBulkCopy设置批量上传时的序列值。如果没有性能问题，我们需要这样做，触发器不是正确的方式。请让我知道可能的可能性。

浏览 2提问于2018-12-29得票数 0

1回答

大容量插入期间删除/重新生成索引

sql、sql-server-2005

我有表，其中有超过7000万条记录；我刚刚发现，开发人员在大容量插入之前删除索引，然后在大容量插入结束后再次创建。存储过程的执行时间将近30分钟(执行删除索引，执行大容量插入，然后从头开始重新创建索引)。在大容量插入之前不删除索引有助于提高性能吗？感谢并致以问

浏览 2提问于2011-08-05得票数 3

1回答

如何导入文件csv而不使用批量插入查询？

python、mysql、sql、sql-server、csv

我尝试过使用bulk导入文件csv，但是它失败了，还有另一种方法可以在查询中导入csv文件而不使用大容量插入吗？到目前为止，这是我的查询，但它使用大容量插入： 'C:\Inetpub\vhosts\topimerah.org\httpdocs\SNASPV0374280960.

浏览 0提问于2015-06-09得票数 0

回答已采纳

1回答

如何在CrateDB中使用python执行大容量插入？

python、bulkinsert、crate、executemany、cratedb

我试图在CrateDB中使用python进行批量插入。该命令executemany并不真正执行大容量插入，与使用pyodbc的Server执行的方式一样。对于pyodbc，我可以使用以下内容：要解决这个问题，正如前面提到的。但是对于python的库"crate“，我没有这个选项。

浏览 2提问于2018-03-07得票数 1

回答已采纳

1回答

数据库A-表中经常发生选择、更新、大容量插入，而且每次大容量插入被选择为死锁受害者时，都会发生严重阻塞，而且由于批量插入失败，我们正在丢失一些数据。SELECT阻止批量插入或UPDATE每次阻塞批量插入，反之亦然，所有这些语句(查询)都来自应用程序。我们没有使用任何存储过程(不幸的是，我们不能使用存储过程) 数据库快照是读取提交，简单的恢复模型，适当的索引和没有发现碎片。是否有办法迫使来自应用程序的代码(查询计划)不

浏览 2提问于2016-04-20得票数 2

1回答

通过SQL大容量插入SQL

sqlbulkcopy

哈罗，我有这样的代码： { DataTable dt = new DataTable(); int i = 0; { string fileName = Path.Combine(HttpContext.Current.Server.MapPath(UploadDirectory

浏览 1提问于2016-03-08得票数 0

回答已采纳

1回答

如何在python中将数据大容量加载到hbase

python、hadoop、hbase、bulk-load

我用python编写了一个通过流jar包运行的MR job。我想知道如何使用大容量加载将数据放入HBase。如何使用</em

浏览 4提问于2017-08-20得票数 1

2回答

通过PHP大容量插入MySQL

php、mysql

在PHP中，我从URI中提取大量JSON数据，然后通过内置的json_decode函数将其序列化为一个关联的PHP数组。")";然后，只需对我已经准备好的插入进行内爆，就可以执行大容量插入：无论如何，我发现mysql_*家族不再被建议使用。因此

浏览 6提问于2012-10-18得票数 3

回答已采纳

1回答

具有大容量插入和单行插入的表的数据库设计

sql-server、oracle、database-design、performance

我必须设计一个表格，其中记录将以两种方式插入。进程1已经到位(文本文件用作外部表。(通过存储过程插入/更新)，但我们愿意重新设计这一点，因为我们目前有大约200万行，但我们预计，从批处理到350万条记

浏览 0提问于2014-08-05得票数 2

3回答

大容量存储设备删除策略

c++、windows、device-driver、policy

我正在开发一个硬件设备，它可以通过USB将自己暴露为大容量存储设备。当我插入一个典型的USB闪存盘时，它会作为大容量存储设备附加到设备管理器中，并将相应磁盘的移除策略设置为“快速移除”。然而，当我插入我的设备时，删除策略被设置为“更好的性能”。请注意，在这两种情况下都没有安装驱动程序(这是Windows的大容量存储驱动程序)。。

浏览 1提问于2011-06-16得票数 2

回答已采纳

1回答

在Server 2008中截断后，批量插入中的重复主键？

sql-server-2008、ssis、bulkcopy

我使用SSIS将SQL Server 2008 prod数据库中的数据转储到平面文件，然后使用大容量插入将这些平面文件加载到Server 2008 dev数据库中。SSIS包在大容量插入之前运行截断表语句，但当我运行它时仍然会收到以下错误：“该语句已终止。违反主键约束。无法插入重复键。”为什么在截断后会有一个重复的键？在大容量插入之前，我还需要做些什么来清除主键吗？

浏览 0提问于2012-08-03得票数 3

回答已采纳

点击加载更多