使用Python插入SQL数据库-性能
使用Python插入SQL数据库时，性能是一个重要的考量因素。下面是关于性能优化的一些建议：
- 批量插入：将多个插入操作合并为一个批量插入操作可以显著提高性能。可以使用SQL的
INSERT INTO语句的VALUES子句一次性插入多个记录，或者使用executemany()方法执行多个插入操作。 - 使用参数化查询：使用参数化查询可以提高性能和安全性。通过将参数传递给SQL语句，可以避免SQL注入攻击，并且数据库可以对查询进行缓存和优化。
- 使用事务：将多个插入操作包装在一个事务中可以提高性能。事务可以减少磁盘写入次数，提高数据插入的效率。
- 使用索引：在插入数据之前，确保数据库表中的相关列上创建了适当的索引。索引可以加快查询和插入操作的速度。
- 批量提交：默认情况下，每次插入操作都会立即提交到数据库。可以通过设置自动提交模式为手动，并在一定数量的插入操作后手动提交，以减少提交的次数，提高性能。
- 优化网络通信：如果数据库与应用程序运行在不同的服务器上，可以通过优化网络通信来提高性能。例如，使用高速网络连接，减少网络延迟等。
- 数据库性能调优：根据具体的数据库系统，可以进行一些数据库性能调优的操作，例如调整缓冲区大小、优化查询计划等。
总结起来，优化Python插入SQL数据库的性能可以通过批量插入、参数化查询、使用事务、使用索引、批量提交、优化网络通信和数据库性能调优等方法来实现。
对于腾讯云相关产品，可以考虑使用腾讯云的云数据库MySQL、云数据库SQL Server等产品来存储和管理SQL数据库。这些产品提供了高可用性、高性能、安全可靠的数据库服务，可以满足各种规模和需求的应用场景。
腾讯云云数据库MySQL产品介绍链接地址：https://cloud.tencent.com/product/cdb
腾讯云云数据库SQL Server产品介绍链接地址：https://cloud.tencent.com/product/sqlserver
相关·内容
1回答
我正试图找出数据库、python和大数据方面的最新进展。
我的起点是一个SQL服务器、多进程熊猫和dask。假设我需要维护一个有超过10亿行的数据库，我需要继续插入它，甚至执行多处理，比对它们进行内存复杂分析还要大。
一些缺点包括，SQL server在插入数据和提取数据方面非常缓慢。
插入100 k行需要1秒，读取1M头行需要5s+。速度是非常令人不满意的比达克与地板。但是，对于带地板的dask，我不能一直插入到这个“10亿行以上的数据库”中。还不支持多索引/无聚集索引，甚至使一些以前快速的sql联接更慢.
我环顾四周，发现了apache，吡咯烷酮。但我有点不确定这是否是正确的前进一步。有什
浏览 0提问于2021-08-01得票数 -1
回答已采纳
在使用正则表达式扫描非常大的每日事件日志之后，我必须将它们加载到SQL Server数据库中。不允许创建临时CSV文件，然后使用命令行BCP将其加载到SQL Server数据库中。
使用Python，是否可以使用BCP流将数据加载到SQL Server数据库中？我想使用BCP的原因是为了提高插入SQL Server数据库的速度。
谢谢
浏览 0提问于2014-09-09得票数 1
我的AWS EC2实例中有12万个csv，每个实例都包含12万行。我无法像在我的AWS RDS postgresql DB中那样将它们中的每一个插入，这将是120,000^2 = 14,400,000,000条记录。每个csv大约是2MB。
我的方法是：
Python脚本，该脚本在pandas库的帮助下，将12万条记录转换为每个csv的一个记录(字典列表)(现在在压缩数据后为5MB)。
然后，python脚本通过pandas.to_sql将每个csv的1条记录插入AWS数据库(后者使用sqlalchemy )
我使用python多处理模块来充分利用我的AWS EC2来加速数据插入。
为了加快数
浏览 0提问于2020-04-04得票数 1
回答已采纳
我正在尝试构建一个ETL，它将源表映射到一个维度的星型模式模型。
我们的数据仓库基本上是库都数据库上的Impala。
我的问题是，我是否应该：
构建一个直接使用Python ()处理kudu表的ETL。
或
B-或在黑斑羚中创建UDF(等效于SQL中的存储过程)，执行插入/联接等操作，将源表映射到星型模式模型，并使用Nifi或任何调度程序(如气流等)对其进行调度。
在我看来，我认为最好是处理本地数据库，而不是在其之上处理SQL引擎。但这只是一个假设。
浏览 10提问于2021-04-16得票数 0
回答已采纳
2回答
我想把大量的字符串存储到我的sqlite数据库中。当我将它们添加到数据库时，我希望它们始终保持相同的顺序。我知道我可以给他们一个自动递增的主键和排序，但是由于可能有多达100.000个字符串，这是一个性能问题。此外，秩序不应改变或以任何不同的方式排序。
简短的例子：
sql插入"hghtzdz12g“sql插入"jut65bdt”sql插入"lkk7676nbgt“
select *应始终给出以下顺序：{"hghtzdz12g“、"jut65bdt”、"lkk7676nbgt“}
有什么办法可以做到吗？
谢谢
浏览 11提问于2014-06-13得票数 0
回答已采纳
1回答
所以情况是，一个人使用python工具将一些数据插入Azure Sql数据库。我希望在插入完成后立即得到通知，这样通知就可以自动触发python代码。我的想法是让我的python脚本在azure函数中被触发。
我有两个问题：
如何在Azure SQL数据库中完成插入操作后立即接收通知。
如何使用Azure函数来触发python脚本。
浏览 2提问于2020-07-29得票数 1
回答已采纳
我在2008中有一个数据库，其中有3个表。我想为这些表的每一行创建一个插入、更新和删除触发器。对于触发器函数，我想调用python函数。python脚本需要从发生触发器的行中编写一些列，并将其写入套接字。我在网络上检查了一下，但是找不到python函数如何作为触发器函数调用。
编辑：还是有一种方法可以在SQL中的触发器过程本身做到这一点？它能充当TCP服务器并将触发器数据写入套接字吗？
浏览 3提问于2011-11-22得票数 4
我使用气流从API中提取数据。数据从API中提取出来，并以JSON格式保存在云存储中。
下一步是将数据插入到SQL中。我有几个问题：
我应该在气流或使用其他ETL，如AWS胶/Azure数据工厂这样做吗？
如何将数据插入SQL DB？我谷歌“如何使用python将数据插入到SQL”？我找到了一个在JSON记录上循环并每次插入数据1记录的解决方案。它不是很有效率。我还能用别的方法吗？
关于如何将JSON数据插入到SQL服务器中，还有其他建议和最佳实践吗？
到目前为止，我还没有决定具体的DB，所以可以随意选择您认为最适合的数据库。
谢谢!
浏览 4提问于2022-11-19得票数 0
1回答
我正在使用python连接器pymongo和pymysql测试MongoDb和MySQL，特别是insert函数。pymongo版本为3.4，pymysql为0.7.9，python为3.5
我的代码看起来像芒果：
client = MongoClient('localhost', 27017)
db = client['local']
collection = db['cqt']
for i in range (0,10):
datas = [ {'a'
浏览 0提问于2017-02-11得票数 0
回答已采纳
我的应用程序有BizTalk编排，它需要对表执行基本的插入。那是更好的方法
使用SQL适配器调用SQL server上的存储过程(只使用一条insert语句)
包括对业务流程的方法调用，其中该方法使用SQLclient.SQLCommand.ExecuteNonQuery方法，并在GetCommand上使用SQLstored过程。
我想知道将数据插入到BizTalk编排中的数据库的最佳方法。
浏览 4提问于2017-03-08得票数 1
回答已采纳
我正在开发一个数据收集应用程序，它涉及到对MySQL数据库的常量插入。我正在使用Python和PyMySQL来完成这项工作。我需要每秒在主表中插入大约100行。python进程一直在运行，并维护与驻留在远程服务器上的MySQL数据库的持续连接。
我知道，一般来说，最好是以缓冲区的形式插入数据(一次插入多行)，而不是单独插入。每100次左右的插入进行一次提交(PyMySQL中的connection.commit())是否可以实现与一次性插入大量数据相同的开销减少？
出于语法上的原因，将行插入分离到单独的操作中会更容易。
浏览 2提问于2018-07-01得票数 0
我在嵌入式系统中有一个python程序，它需要写入sqlite数据库。此数据库是任务关键型数据库，因此需要完全同步。问题是数据库提交一次插入需要很长的时间(3-30秒)。插入被包装在一个事务中，但是实际上没有办法将这些插入分离到多个事务中。
我一直在寻找任何方法来缩短数据库提交所需的时间，但我有点迷失方向。
我尝试过设置pragma journal_mode=persistance，这似乎有帮助，但只有很小的帮助。现在我在想，可能是sqlite的i/o时间太少。
有没有办法只提高sqlite3的进程优先级？我不想增加python优先级本身，因为我们正在进行日志记录、配置更新和其他文件i/o，但
浏览 0提问于2010-12-09得票数 2
回答已采纳
4回答
我们需要将数据(8k records)插入到CRM Entity中，数据将来自其他CRM Entities。目前，我们正在通过代码来完成这项工作，但这需要花费太多的时间(Hours)。我在想，如果我们使用SQL直接插入到CRM Database中，那就容易多了，而且只需要几分钟。但是在向更远的移动之前，我有几个问题，
使用SQL直接插入CRM数据库安全吗？
使用SQL将数据插入CRM的最佳实践是什么？
在尝试之前，我应该考虑些什么？
编辑：
4:如何提高插入性能？
浏览 1提问于2013-01-10得票数 3
回答已采纳
1回答
我使用Oracle SQL Developer连接到运行在共享服务器上的Oracle数据库实例。我想用以下负载对数据库执行负载测试：
在table#1上每分钟插入100000条记录
在table#2上每分钟插入10000条记录
在table#2上每分钟读取1000条记录
我已经生成了上面的负载，但不知道如何度量加载前后Oracle数据库的性能。我在数据库上没有DBA特权。
我想测量以下参数(在加载之前和之后)：
I/O吞吐量
网络延迟
内存利用
查询执行时间
我尝试过使用SQL的DBA功能，但无法从中推断出任何结论。
谢谢!
浏览 1提问于2017-10-08得票数 0
我有一个MySQL数据库，我想测试它的性能。我想将大约500万条记录插入到一个具有自动递增主键的表中。有没有一种简单的方法可以用SQL快速做到这一点？我知道我可以通过管道输入.sql文件，但我真正想做的是插入相同的数据(但使用不同的PK)，500万次。
浏览 2提问于2012-05-04得票数 0
回答已采纳
我们有一个使用DB2数据库的Cobol应用程序。我需要开发一个应用程序，它将从该DB2数据库中获取记录，并将其插入到SQL Server数据库中。这应该是实时发生的。一旦记录被插入到DB2中，我的应用程序就需要更新SQL Server数据库。最多30分钟的延迟是可以接受的。这涉及到大量的数据和大量的表。
在不影响性能的情况下，实现这一目标的乐观方法是什么？
浏览 1提问于2014-09-05得票数 0
1回答
我需要使用Python将CSV文件插入到SQL Server上的表中(BULK INSERT已关闭)。我没有使用SQLAlchemy，而是编写了自己的函数(愿上帝宽恕我)。我正在创建字符串形式的SQL代码列表 sql_code_list = ["insert into table_name values (1,'aa'),(2,'ab'),(3,'ac')...(100,'az')",
"insert into table_name values (101,'b
浏览 10提问于2020-08-13得票数 0
回答已采纳
我正在进行批量插入，并使用insert "ignore statement"在数据库中插入50万个令牌。在50万个令牌中，可以有重复的令牌。因此，如果我使用insert ignore语句在数据库中插入50万个令牌，那么不能保证所有的令牌都插入到数据库中，因为有重复的令牌。
在插入之后，我想知道有多少个令牌被插入到数据库中。有些人建议使用affected_rows列来获取插入(受影响)的行数。但是affected_rows没有给出当前sql语句的输出，而是给出了上一条sql语句的输出。
请告诉我使用insert ignore语句获取插入行数的最佳方法。
浏览 2提问于2016-01-06得票数 1
1回答
我对Python很陌生，所以我一直在从我发现的东西中拼凑脚本，而且它一直运行得很好(也就是我的脚本正在工作，即使它们不是最优雅或最正确的)。我的最终目标是获取一个csv，读取它，找到一个阶段，然后如果找到这个短语，将该行写到SQL数据库中。我有这样的工作，但我的问题是：
我应该在.execute()的每个循环中编写一个.commit() (这就是我现在要做的)吗？或者我应该构建一个语句并在结束时执行/提交(不确定如何做到这一点)？我阅读了并了解了如何格式化插入，但不确定如何使用我的代码(如下所示)并调整以构建具有多个值的单个插入。任何帮助或建议是第一种方法只是很好，或适当的方式是第二种方法将是
浏览 1提问于2017-04-18得票数 4
回答已采纳
我正在尝试使用windows上的python填充MS SQL 2005数据库。我插入了数百万行，到了700万行，我使用了几乎一千兆字节的内存。下面的测试每插入100k行占用4兆RAM：
import pyodbc
connection=pyodbc.connect('DRIVER={SQL Server};SERVER=x;DATABASE=x;UID=x;PWD=x')
cursor=connection.cursor()
connection.autocommit=True
while 1:
cursor.execute("insert into x (a,
浏览 0提问于2010-11-03得票数 4
1回答
我要将CSV文件中的数据插入到Azure上托管的SQL Server数据库中。我能够在表中插入数据，方法是将数据读取到pandas数据帧中，并在python中的for循环中使用insert语句。我正在使用pyodbc。这种方法需要很长时间才能插入数据。我也尝试过pd.to_sql()。虽然后者比for循环方法更快，但它仍然很慢。
有没有更快的方法在SQL Server中使用python/pandas插入CSV文件？
浏览 0提问于2019-10-14得票数 0
我们有一个历史表，用于存储xml服务请求和响应。目前它将它们存储在一个XML字段中，但是我们在插入时遇到了性能问题。我们只插入记录，不更新，不选择或删除。我们截断了表并重建了索引，但没有用。该表在identity字段上有一个主聚集索引，在datetime字段上有一个默认值GetDate()。我们正在运行SQL 2005 Server，但数据库处于SQL 2000兼容模式。
如果我们将字段类型从XML改为VarChar(max)或VarChar(xxx)，这会加快插入速度吗？还有什么是我们应该看的吗？
谢谢。
浏览 0提问于2010-05-06得票数 5
回答已采纳
我试图使用BULK Insert和BCP将数据加载到Azure SQL server中。我能够在没有任何问题的情况下将数据加载到我的表中，但在我的情况下，加载性能是问题所在。在大多数情况下，BCP比批量插入更快。
BCP
将数据从UNIX加载到数据库
大容量插入
通过BLOB存储将数据加载到Azure SQL Server中
除了添加TABLOCK和drop/recreate索引之外，我想知道如何提高大容量插入的性能。由于增量负载，不可能删除和重新创建索引。
为了提高大容量插入性能，需要调整的所有参数是什么？
浏览 0提问于2019-02-23得票数 0
我有一个将数据插入到cassandra表中的任务，但是我不想覆盖以前插入的记录，但是插入cql会覆盖现有数据。
幸运的是，我发现了一个“使用时间戳”的操作，具有较大时间戳的cql将覆盖较小的cql，否则不会。因此，通过“使用时间戳”，我可以使用自定义的时间戳来确定是否覆盖。它在Cqlsh中运行良好。
但是在python-cassandra-driver中失败了，如何在python-cassandra-driver中使用时间戳呢？我的代码如下：
insert_sql = ("INSERT INTO activate (rowkey, qualifier, info, act_date,
浏览 2提问于2015-09-23得票数 0
3回答
在某些客户端，我们对数据库的插入非常慢(比正常情况慢三次)。我不明白为什么会发生这种事。查了一下网络，似乎没问题。
有什么建议吗?这里的数据库有什么问题吗？我怎么能查到呢？
我们使用的是sql server 2005。
谢谢。
浏览 0提问于2011-06-11得票数 1
Python应用程序，标准web应用程序。
如果某个特定请求因错误而执行两次，则第二个请求将尝试插入具有现有主键的行。
最明智的处理方法是什么。
( a)执行查询以检查主键是否已经存在，并在python应用程序中执行检查和错误处理。
( b)让SQL引擎拒绝带有约束失败的插入，并在应用程序中使用异常处理来处理它。
从速度的角度来看，失败的请求所花费的时间与成功的请求所花费的时间相同，这使得b的速度更快，因为它只有一个请求，而不是两个请求。
然而，当您考虑到诸如只读db奴隶和表写锁之类的事情时，我在扩展标准SQL数据库方面的经验就变得模糊了。
浏览 3提问于2015-02-28得票数 1
回答已采纳
基于“基准标记分布式SQL数据库”的文档，与YSQL相比，YCQL中的吞吐量更高。
如果我们使用相同的表结构和工具来插入，而我没有使用任何类似SQL的特性，那么为什么YCQL比YSQL表现得更好呢？
浏览 4提问于2019-12-26得票数 1
回答已采纳
在python中，我有一个从一个数据库中选择数据的过程(通过psycopg2执行Redshift)，然后将数据插入到SQL Server中(通过pyodbc)。我选择读/写而不是读/平面文件/加载，因为每天的行数大约是100,000。似乎更容易简单地连接和插入。然而，插入过程很慢，需要几分钟的时间。
是否有更好的方法使用Pyodbc将数据插入到SQL Server中？
select_cursor.execute(output_query)
done = False
rowcount = 0
while not done:
rows = select_cursor.fetchmany
浏览 3提问于2016-10-15得票数 6
回答已采纳
我有一个用linq-to-sql插入到数据库中的对象列表。目前，我使用foreach循环添加每个元素，大致如下所示：
foreach (o in List<MyObjectModel)
{
using MyDataContext
{
TheLinqToSqlTableModel TheTable = new TheLinqToSqlTableModel();
TheTable.Fieldname = o.Fieldname;
.... repeat for each field
MyDataContext.TheTablename.In
浏览 0提问于2012-02-01得票数 3
回答已采纳
2回答
当我使用字典参数插入表值时，出现了一些异常，npgsql不清楚地返回SQL查询。示例：
Psuedo代码：
Dictionary<string, object> params = new Dictionary <string, object>();
string sql: "insert into bla values (:item1)";
params.Add ("item1", 'bla bla');
ExecuteNonQuery (sql);
示例代码块：
using (NpgsqlCommand cmd = ne
浏览 1提问于2020-06-15得票数 0
回答已采纳
我正在尝试在没有任何数据库设置的情况下启动Django runserver。目前，我已经尝试将db引擎设置为虚拟引擎。
python manage.py runserver可以正常启动。
但是网页没有正常显示，它显示了一些python异常，看起来它正在为我编写的模型类寻找数据库表，并且它正在尝试连接到我的模型类的一些数据库。
有人能给我这个问题的解决方案吗？我想我的网页工作，没有任何数据库配置。而且我的模型类仍然工作得很好。
关于以上内容的其他信息:感谢您的快速回复。我还尝试在数据库设置中设置空值。该项目的要求是启动网站没有任何数据库运行。网站项目是一个建立在django 1.1上的旧系统，它
浏览 0提问于2013-12-04得票数 1
我们有一个Delphi应用程序，它可以连接到Oracle或SQL Server。我们使用Devart组件连接到数据库，当涉及到数据库访问时，一切都是非常通用的。也就是说，我们使用最小的公分母。最终，我们使用数据库作为数据存储，而不使用任何可能特定于数据库的更“高级”功能。
但是，我们的Oracle有一个严重的性能问题。它与插入数据有关。我知道通过运行大量insert语句来插入数据对性能不是很好，但是由于在将原始数据上传到数据库之前需要对原始数据执行一些业务逻辑，所以我们受到一些限制，只能执行多次插入。为了了解性能差异，我们最近进行的一项测试将1000个项目插入到我们的数据库中，在SQL Ser
浏览 5提问于2014-10-29得票数 0
1回答
只是想知道结构化表插入和批量复制之间是否存在性能差异。在我开始实施之前，任何可能具有表现力的经验或想法。我使用Spring.net进行数据库层调用。
Sql大容量插入
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(this.connectionstring)
{
bulkCopy.DestinationTableName = "BulkDataTable";
bulkCopy.WriteToServer(dataTable);
}
Sql结构化类型insert创建一个数据类型，该数据类型映射到datatable，并传递数据表和所
浏览 1提问于2016-12-05得票数 1
回答已采纳
我们正在使用Entity Framework 5 Code First方法将MS-Access数据库迁移到SQL Server Compact 4.0。我们发现使用数据库生成的整数ID非常慢，更糟糕的是，延迟随着数据库的大小呈指数级增加。这使得使用Identity列变得不可能，而且在SQL Server Compact 4.0中似乎有一个与Entity Framework配对的糟糕的功能实现。
因此，我们运行了一些测试，发现使用客户端生成的键将op插入速度提高至少20倍，插入速度的指数增长消失了。
现在我们正在寻找一种生成客户端ID的最佳方法。使用GUID似乎是最安全的选择，但我读到这会对读取
浏览 0提问于2013-02-07得票数 2
回答已采纳
在知道可以从不同的环境(Windows/Linux)和语言(Java/PHP/Python/C#)访问字体的同时，在SQL Server数据库中插入字体的最佳方法是什么？
我有一个案例，我应该从Java应用程序中插入字体，并从C#应用程序中获取该字体，目前我正在插入Font.Name、Font.Style和Font.Size，并使用Font.Decode();方法从Java中检索字体。
它在许多情况下都可以工作，但我认为将字体文件传输到数据库并通过关联自定义构造的字符串来标识字体及其关联文件来从数据库中获取字体文件.ttf可能会更好。
例如：Font Name、Font Size和Font S
浏览 2提问于2011-09-20得票数 1
回答已采纳
3回答
高效的多SQL插入
、、、
将1000行插入到一个表(jdbc/连接器-mysql数据库)中的最佳/最省时的方法是什么？(它是一个缓冲区，每次满了都需要转储到数据库中)
1-一条自动生成/合并的SQL语句？
2- for (int i = 0; i<1000; i++) { con.prepareStatement(s.get(i)); } con.commit();
3-存储过程？
4-通过文件进行批量数据插入？
5- (您的解决方案)
浏览 1提问于2010-08-09得票数 5
回答已采纳
我使用SqlCommand向数据库插入多个记录，但插入2000条记录需要很长时间，我执行了以下代码：
using (SqlConnection sql = new SqlConnection(connectionString))
{
using (SqlCommand cmd = new SqlCommand(query, sql))
{
sql.Open();
int ff = 0;
while (ff < 2000)
{
cmd.ExecuteNonQuery();//It tak
浏览 0提问于2018-07-05得票数 3
回答已采纳
因为数据代数都是数学。有没有办法通过数学方法找出数据代数和基于SQL的数据库(如Oracle )之间的性能差异？通过数学方法，我指的是Big O表示法或其他一些方法，这些方法在数学上证明了插入表扫描的性能成本。
浏览 0提问于2015-12-18得票数 2
2回答
我想使用实体框架从csv文件批量插入MS SQL Server数据库。是否存在使用实体框架进行批量插入的内置方法？
谢谢
浏览 6提问于2016-04-19得票数 3
3回答
我必须在SQL Server数据库中插入很多行(超过1.000.000.000行)。该表有一个AI Id、两个varchar(80)参数和一个使用GETDATE作为默认值的smalldatetime。最后一个只是听觉上的，但也是必要的。
我想知道插入行的最好(最快)方法。我一直在读有关大容量插入的文章。但如果可能的话，我想避免它，因为应用程序不会在托管数据库的同一服务器上运行，我想让它们尽可能地隔离。
谢谢!
迭戈
浏览 9提问于2010-11-08得票数 2
回答已采纳
我在使用存储过程的Server插入中遇到了一个奇怪的不一致问题。我通过pyodbc从Python调用一个存储过程，通过运行一个循环来多次调用它，以便在一个表中插入多个行。
在大多数情况下，它似乎正常工作，但过了一段时间，它就会在循环中间停止工作。此时，即使我尝试通过代码调用它一次，它也不会插入任何内容。我在Python控制台中没有收到任何错误消息，实际上我得到表的递增标识，就好像数据实际上是插入的一样，但是当我查看数据时，它并不存在。
如果我从中调用存储过程并传入数据，它将插入存储过程并显示递增的标识号，就好像其他记录已经插入一样，即使它们不在数据库中。
我从Python调用存储过程的次数似乎
浏览 4提问于2014-07-21得票数 2
回答已采纳
2回答
是否可以将python dataframe值插入到数据库表列？
我使用snowflake作为我的数据库。
CommuteTime是包含StudentID列的表。"add_col“是python数据帧。我需要将df值插入到StudentID列。
下面是我的代码，我尝试将DF值插入到表列中。
c_col = pd.read_sql_query('insert into "SIS_WIDE"."PUBLIC"."CommuteTime" ("StudentID") VALUES ("add_col")&#
浏览 1提问于2018-08-06得票数 2
3回答
我有100,000至1,000,000行要插入Oracle18c数据库。我对Oracle和这个数量级的数据非常陌生。我认为一定有一些最佳的方法来做到这一点，但就目前而言，我只实现了逐行插入：
def insertLines(connection, table_name, column_names, rows):
cursor = connection.cursor()
if table_exists(connection, table_name):
for row in rows:
sql = 'INSERT INTO {} ({
浏览 0提问于2019-03-20得票数 2
回答已采纳
1回答
我有一个使用scrapy的工作脚本，它使用管道类将抓取的项目插入到数据库中。然而，这似乎大大减慢了刮擦的速度。我使用process item方法在抓取时将每个抓取的项插入到数据库中。将抓取的项目输出到csv文件中，然后使用存储过程将数据插入数据库，会不会更快？
def process_item(self, item, spider):
if 'address_line_1' in item:
sql = """INSERT dbo.PropertyListings (date, url, ad_type, address_lin
浏览 2提问于2018-11-27得票数 0
我正在编写一个Azure Web作业c#代码，用于在现有的Azure SQL数据库中进行批量插入和更新。考虑到性能，我应该选择哪种.NET数据访问技术-ADO..NET/Linq2SQL/EF-DataFirst方法？
浏览 0提问于2017-02-22得票数 1
我想使用Python连接cPanel的数据库，并插入一些新数据。我可以编写SQL和Python代码来执行插入。然而，却不知道如何与cPanel连接。
我在cPanel的phpMyAdmin中有网站地址(比如www.myuscanadahouse.com)、cPanel用户名、cPanel密码和数据库名称。使用Python编写一些教程或入门代码会很有帮助。我看过这个页面，但我不能让它在这里工作。
连接MySQL数据库时出现以下错误：
_mysql_exceptions.OperationalError: (1045, "Access denied for user'builder
浏览 2提问于2016-05-16得票数 5
我正在将SQL Alchemy与SQL数据库一起使用，并有一个最佳实践问题。我需要将一个对象列表插入到SQL中，然后将它们与SQL生成的ID一起返回给前端。但是，我只能在提交之后访问这些ID。现在，我循环遍历列表并在每次迭代中添加一个对象，然后在添加完所有对象后提交。但这样我就没有身份证了。
是在每次循环迭代后提交，并以这种方式获取it，还是在循环结束后批量提交新条目，然后进行另一次调用以获取新条目及其it？
浏览 23提问于2020-02-19得票数 1
Oracle能够通过将数组作为绑定变量进行批量插入。然后，数据库为数组的每个成员执行单独的行插入：
因此，如果我有一个数组：
string[] arr ={ 1，2，3}
并将其作为SQL的绑定传递：
插入my_table(my_col)值(:arr)
最后，我在表中有3行。
有办法在PostgreSQL w/o中修改SQL吗？(也就是说，我不想使用copy命令、显式多行插入等等)
浏览 3提问于2017-09-02得票数 0
回答已采纳
2回答
我是SQL Server CE的新手，正在使用Visual Studio2008和SQL Server CE 3.5。我想知道将批量记录插入SQL Server CE数据库的最佳方法是什么？BULK INSERT语句是否适用于SQL Server CE？我有近45个表，其中一些表应该有大量的数据。使用command.Prepare就足够了，还是有更有效和更快的方法？
浏览 0提问于2009-10-08得票数 6
回答已采纳
每分钟，这个程序从um DB中读取一组记录，并将它们复制到另一个数据库中。99%的情况下，它由No Operation组成，因为数据没有更改。
问题是，单个覆盖变得越来越慢。有了2500条记录，它变得很明显。
如果数据没有变化，为什么SQL会逐渐变慢？
更多细节:当时，我使用GUID作为主键(我知道，我很可怜)。但据我所知，只有当有新的插入或更新更改了数据的大小时，才会导致碎片，这两种情况都会导致页面拆分。我的理论是，这些nop更新正在碎片化一些东西(不易破坏)，并导致延迟的增加。也许SQL server将此更新实现为删除/插入事务？
浏览 12提问于2016-04-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
