在我的程序中，我使用任务并行库来减少进程的时间。我使用这段代码来完成这项工作。
Task[] tasks = new Task[10]
{
Task.Factory.StartNew(() => DoFiles(fullNum,NotFullNum, 1 , (e.Argument as string[])[1])),
Task.Factory.StartNew(() => DoFiles(fullNum,NotFullNum, 2 , (e.Argument as string[])[1])),
Task.Factory.StartNew(() =>
浏览 6提问于2013-08-27得票数 3
我有一个非常大的表，它是以编程方式创建的，需要运输才能添加到远程站点的SQL Server数据库。
做这件事最好的方法是什么？
该表可能包含数十万条非常短的记录，其内容需要添加到现有的表中。
浏览 1提问于2011-06-20得票数 1
回答已采纳
1回答
我正在通过SqlBulkCopy插入数据，如下所示：
public void testBulkInsert(string connection, string table, DataTable dt)
{
using (SqlConnection con = new SqlConnection(connection))
{
con.Open();
using (SqlBulkCopy bulkCopy = new SqlBulkCopy(con))
{
bulkCopy.DestinationTableN
浏览 1提问于2014-10-27得票数 22
回答已采纳
我正在使用MVC5和EntityFramework6中的Epplus库从excel导入一个大型数据文件到我的数据库表中，将该文件复制到数据库需要很长时间。我希望使用sqlbulkcopy快速插入数据，但我不太确定如何在我的控制器内这样做。代码现在正在工作，但是将所有数据导入数据库需要很长时间。
public ActionResult Structure(FormCollection formCollection)
{
var usersList = new List<bomStructuredImportTgt>();
if (Reque
浏览 1提问于2019-05-14得票数 0
4回答
我必须将数据从datatable传输到数据库。总记录约为15k /次。我想推迟数据插入的时间。我应该使用SqlBulk吗？或者别的什么？
浏览 2提问于2013-02-14得票数 0
1回答
有人知道在部署数据时在Azure数据迁移助手过程中运行什么SQL吗？
我看到一个暂停在开始，然后数据被复制，然后暂停在结束。
我怀疑开始是禁用外键和索引，最后是重新启用这些，但我在任何地方都找不到解释。
浏览 1提问于2018-06-20得票数 0
回答已采纳
我们有一个项目站点，我们必须每晚将遗留数据库系统复制到Server 2008中。
我们正在使用Maestro工具来完成这项工作，因为我们无法每天晚上获得一个精确的增量，因此决定每天晚上转储以前的Server数据库并拍摄一个新的快照。在大约10个不同的表中有几百万行。快照大约需要2小时才能运行。
现在，我们还需要在数据的快照副本上创建一些自定义索引，以便某些BI工具能够快速查询数据。
我的问题是:在运行快照副本之前创建表和索引更有效，还是先创建表结构，然后在填充表之后运行快照副本然后创建索引？
在Server数据库中，在添加行和添加所有行时，在创建索引时是否有性能不同，然后在最终数据集中创建索引
浏览 1提问于2014-04-28得票数 0
回答已采纳
2回答
我有4个大的XML文件，需要映射和导入到一个SQL数据库每月一次。
我正在使用c#和一个控制台应用程序来做这件事。我的第一个方法是实体框架，对于我拥有的65000条记录来说，这真的很慢。
数据的反序列化没有问题，我的主要问题是在合理的时间内以单元可测试的方式添加和更新数据。
谢谢。
浏览 2提问于2014-02-16得票数 1
1回答
如何在C#中使用MySQL一次将数据表的多行插入到数据库中的表中
string connectionString = GetConnectionString();
using(var bulkCopy = new SqlBulkCopy(connectionString, SqlBulkCopyOptions.KeepIdentity)) {
foreach(DataColumn col in dataTable.Columns) {
bulkCopy.ColumnMappings.Add(col.ColumnName, col.ColumnName);
}
浏览 3提问于2020-02-20得票数 0
1回答
五角壶-从不同的数据库中检索数据
、、、、
我有一个场景，我从一个数据库(Postgres)获取数据，然后将数据加载到另一个数据库(Redshift)中的表中。
水壶里有没有安排这项工作的方法？
这是一个简单的insert into redshift select * from postgres
浏览 0提问于2016-08-09得票数 0
1回答
在过去的几天里，我一直在使用数据集。我想了解Dataset.Clone()方法的用法。我知道它被用来获取数据集的结构。但是如果有人能解释一下哪种情况需要dataset.clone还是dataset.copy方法
浏览 5提问于2011-12-10得票数 1
回答已采纳
我希望按需将表(包括其所有数据)从SQL Server复制到C#中的SQL CE数据库。诀窍是，要复制的表在运行时之前是未知的，并且以前不会存在于SQL CE数据库中。
我希望通过先从服务器获取DataTable，然后将其复制到CE数据库中来实现这一点。
将新表及其数据插入到SQL Server CE数据库的最简单方法是什么？
还有什么我应该考虑的替代方法吗？
该方法必须在2005年及更高版本的SQL Server上工作，因此我不能依赖仅在较新版本中提供的功能。
本地数据库将始终为空。
这些表可能包含多达数千条记录，这将用作本地缓存。
提前感谢
浏览 0提问于2015-10-29得票数 0
我们正在使用C#组件执行批量插入操作。
这是代码：
using (SqlCommand sqlCommand = new SqlCommand("SET XACT_ABORT ON", _sqlConnection))
{
sqlCommand.SafeExecuteNonQuery();
}
var sqlBulkCopy = new SqlBulkCopy(_sqlConnection, bulkCopyOptions, null);
sqlBulkCopy.WriteToServer(table);
发生下列错误：
此操作与此事务上的另一个挂起操作冲突。手术
浏览 5提问于2015-06-18得票数 2
回答已采纳
无论我粘贴的是2000个urls、1000个、500个还是其他什么，爬虫都能完美地从批量urls返回数据，但随后会从末尾停止一些urls并挂起……由于没有取消/停止按钮，我必须退出程序。
例如，粘贴了250个urls停止于247，粘贴了2000个urls停止于1986
浏览 0提问于2015-07-31得票数 1
我会给你一个基本的概述，总结，然后提出问题，使你们都能得到信息，因为你们可以。如果你需要更多的信息，请不要犹豫。
基本设置：
客户端经常与服务器通信，提供要序列化和处理的json数据。
客户端还需要使用这些数据并将其编录到mysql服务器中(主要问题在这里)
客户机还需要将服务器提供的一些数据存储到特定于该客户端的本地数据库中。
因此，如上所述，我有一个客户机，它与输出要处理的json的服务器通信。现在的问题不在于json数据或与服务器的通信。更多的是关于远程和本地数据库，以及我在dto中应该采取的方法。
现在--最初我打算通过一个循环来处理它，然后一个接一个地将数据的各个
浏览 1提问于2015-12-28得票数 0
回答已采纳
这是一个函数，用于获取要插入到数据集中的数据。我也有不同的代码按钮点击查看数据的数据。我使用sql server 2014作为我的数据库，并且在创建该表时已经设置了自动增量。自动递增的值是项id。
public: bool AddSuppliesToTable(Supplies^ rowtosave, SqlConnection^conn,
SqlCommand^ cmd)
{
Trace::WriteLine("saving to table");
cmd->Connection = conn;
cmd->
浏览 4提问于2015-03-09得票数 0
我在C#和甲骨文上遇到了一些麻烦。我需要使用Oracle.ManagedDataAccess找到与这一行代码相当的代码：
using (Oracle.DataAccess.Client.OracleBulkCopy bulkcopy = new Oracle.DataAccess.Client.OracleBulkCopy(this.connectionString))
{
bulkcopy.DestinationTableName = TargetTable;
bulkcopy.WriteToServer(UploadDataReader);
}
conne
浏览 4提问于2019-12-24得票数 0
回答已采纳
我有一个正在运行的服务，它转换数据并将转换后的(几百万行)数据写入Server。前面从这些桌子上读出来。
当然，我们有一个雄心，希望尽快编写这些数据，但同时又不牺牲读取性能。
我目前的方法是编写单个行，每次只调用一个服务器。这似乎可以最小化锁定，但写入速度并不是最佳的。没有节流，我们可能达到每秒几千行的速度。
我也尝试过批量加载数据，但是我遇到了死锁和超时。我假设这是由于插入/更新时锁升级造成的(我将提交分批为256行)。
有什么想法可以在不牺牲读取性能的情况下更快地将记录提交到数据库？
一些细节：
转换后的数据驻留在许多不同的表中，所有这些表都进行了索引，以最大限度地提高读取性能。
浏览 1提问于2012-11-16得票数 2
我创建了一个win表单应用程序。当我试图上传数据时，获取Excel文件并将数据上传到Database.But中时，它会显示错误“超时过期。操作完成之前经过的超时时间或服务器没有响应”。我已经更改了连接超时属性。
但它仍然显示出同样的错误。注:它起作用了，然后再一次说明问题所在。我的Excel文件包含50多万个数据
浏览 2提问于2014-05-12得票数 1
回答已采纳
当前的数据导出程序并不期望大小，它使用实体框架并将IQueryable转换为用于导出的列表。Ram 16 GB的运行是不够的。
我读到有两种避免这种情况的方法，比如DataReader迭代和BCP。然而，我不确定大约有2分。
在这种情况下，BCP会导致5百万条记录的内存问题。
数据读取器会比BCP慢吗？
有人能告诉我。
浏览 1提问于2016-07-04得票数 1
1回答
我可以使用sqlcmd语法将数据数据库转换为.csv sqlcmd -S ipdb -U sa -P "passwordsa" -d dbname -Q "select * from tabelname" -o "direktori/file.csv" -s"," -W -w 700 但是如何使用sqlcmd语法将数据从.csv插入到表中呢？
浏览 42提问于2021-08-20得票数 2
回答已采纳
我希望使用SqlBulkCopy将数据从我的.Net应用程序中获取到Server中，以提高性能。
但是，DBA已经将所有真正大的表(那些SqlBulkCopy将真正发光的表)变成分区视图。
没有关于这方面的文章，网络上也有问题，但都没有答案。
我想找个解决办法来解决这个问题。
注意：
明天，我将用准确的错误信息和我能带来的任何其他细节来编辑我的问题。internet上的任何问题都不包括Server返回的错误。
浏览 1提问于2014-11-23得票数 0
回答已采纳
我在资源中创建了两个文件夹(“图像”和“文件”)，每个文件夹都包含一些文件。我需要在第一次启动时将其复制到data/data/com.relatedPackage.myApp，保持相同的名称和相同的文件内容。我是一个iOS程序员，操作系统不允许复制整个文件夹，那么，在android中，哪种方法才是正确的呢？
是否可以将整个文件夹“图像”(包括其文件)从资产复制到数据/...？那太好了。如果不是，我是否应该在data/...中创建第一个使用相同名称的空文件夹...然后将文件从assets复制到current？在这种情况下，必须列出文件夹中的所有文件才能复制到数据/...？谢谢。
浏览 1提问于2012-03-04得票数 0
回答已采纳
我有一个access数据库，包括许多表。而且我有一个没有数据的sql服务器数据库。我想从access中选择并插入到sql数据库。但这些都不是餐桌上的东西。从表中选择，但将多个表插入到sql数据库端。我怎么能这么做？
例如；
select customer_id, cst_name, workorder_id
from (customer inner join workorder on workorder.cst_id=customer.customer_id);
访问端的这个字符串。
insert into WorkPerson (person_id, workorder_id)
浏览 2提问于2016-09-28得票数 0
使用将表的全部内容从Server复制到MySQL计算机上的相同表中。MySQL数据库使用MySQL ODBC5.1驱动程序作为链接服务器连接到Management。使用一个简单的语句很好，但是执行非常慢。
INSERT INTO openquery(MYSQL, 'select * from Table1')
SELECT * from MSSQL..Table2
我有一张约有45万张唱片的桌子，转机只需5个多小时。这是正常的吗？我以前没有链接MySQL服务器的经验。
浏览 6提问于2011-04-26得票数 3
我正在尝试将数据从exel文件插入到Microsoft SQL server本地db表中。我可以在windows窗体应用程序中显示包含excel数据的dataGridview，但我不知道如何将数据放入表中。
try
{
System.Data.OleDb.OleDbConnection cnn;
System.Data.DataSet DtSet;
System.Data.OleDb.OleDbDataAdapter cmd;
cnn = new System.Data.OleDb.OleDbConnection("provider=Micros
浏览 11提问于2019-11-20得票数 1
回答已采纳
1回答
我正在中执行查询，并希望将其结果导出到Sqlite数据库。我需要做一次，也许两次，所以手动就可以了。
有大约5毫米的结果。我尝试了csv，但由于结果集的大小以及转义值和逗号的问题，它无法工作。
理想情况下，我希望能够完成所有操作，同时连接到同一个查询中的源数据库和sqlite数据库。这有可能吗？
编辑:我使用了BCP，然后是SQL查询导入工具，工作起来很有魅力。我使用的bcp命令是：
PS M:\Desktop> bcp "SELECT STATEMENT" queryout output.txt -t ^ -S "SERVER ADDRESS" -T -
浏览 1提问于2014-01-06得票数 0
回答已采纳
1回答
我有一个批量复制代码：
private void SqlbulkCopy(DataTable dt)
{
if (dt.Rows.Count > 0)
{
string consString = ConfigurationManager.ConnectionStrings["Bulkcopy"].ConnectionString;
using (SqlConnection con = new SqlConnection(consString))
{
浏览 4提问于2016-06-10得票数 0
2回答
我试图通过链接服务器将一个表的内容从一个数据库复制到另一个数据库。
为此，我将使用以下查询
insert into [Schema].[Table] select * from [Server].[Database].[SCHEMA].[Table]
查询失败，出现以下错误。
用于链接服务器‘'服务器.数据库.图式.表格.GDTXVC'.’的OLE DB提供程序'SQLNCLI11‘返回列ServerName的无效数据
如果列出列名，也会出现同样的错误，我没有单独尝试select *，因为它是一个超过300万行的表。
我已经检查并验证了两个数据库中的表是相同的，在错误中
浏览 0提问于2018-02-23得票数 4
回答已采纳
1回答
我需要以某种方式将数据从一个数据库复制到另一个数据库。我想最好的选择是SqlBulkCopy。问题是，我的表product有另外5个表与产品ID连接。例如，产品与Product_picture (pictureID，productID)相连。有没有办法将Product和所有具有ID (或Identity)的其他连接表从一个数据库复制到另一个数据库？
浏览 2提问于2013-09-30得票数 1
我有一个单节点cassandra (Cassandra A)，其中有10个keyspace。还有另一个单节点cassandra (Cassandra B)，其中有20个密钥空间。我想将5个键空间从Cassandra A移动或复制到Cassandra B。
我尝试将这5个键空间的数据目录复制到Cassandra B数据目录中。我启动了cassandra B，但这5个键空间不可用。
提前谢谢..
浏览 0提问于2013-10-30得票数 0
1回答
我有一个来自事务复制的订阅源的合并复制。我知道有关合并复制的触发器不是由“大容量插入”触发的：
Microsoft:使用bcp实用程序或BULK INSERT命令将数据加载到表中时，默认情况下不会触发维护MSmerge_contents系统表中跟踪数据的合并复制触发器。
要建立事务性复制，需要快照。问:快照是否是大容量插入；它不会触发合并触发器吗？
浏览 3提问于2014-11-21得票数 0
回答已采纳
经过一段时间的goо运行后，我无法在Npgsql中从SQLClient找到合适的SQLBulkCopy替代品。有没有人能推荐我在PostgreSQL上使用类似SQLBulkCopy的东西？我需要插入大约一千万的数据..我知道如何进行单查询插入...
我只是为了比较而做测试。
任何建议都是值得感谢的。
浏览 1提问于2014-01-28得票数 8
我计划将SQL Server 2016本地数据库的大约6tb (2个数据库)迁移到Azure SQL超大规模。我想知道我在迁移过程中会面临什么样的挑战。
我已经运行了DMA (数据库迁移助手)，它抛出了与跨数据库引用相关的问题。有没有其他工具可以用来找出迁移拦截器。Hyperscale不支持SQL Server 2016 on prem的哪些功能？
浏览 1提问于2020-04-07得票数 0
1回答
我们在Azure中遇到了SqlBulkCopy的问题。
上下文如下:我们有一个大约有1000万行的表。每行大约有15列。
我们正在将这些数据迁移到我们的新模型中，这需要对数据进行拆分，这样一行15列就变成了15行。
它在一开始就工作得很好。目标表现在包含17,767,235行，速度非常快。
此时，它开始抛出异常。
我做了一些修改以增加超时时间并使用批处理，但它似乎完全被阻塞了。
以下是最初的异常：
Timeout expired. The timeout period elapsed prior to completion of the operation or the server is
浏览 0提问于2014-05-10得票数 5
我想使用sq对表使用bulk insert。有没有办法将OracleBulkCopy与oracle数据库序列一起使用？
谢谢
浏览 4提问于2014-08-24得票数 1
我在dba.stackexchange.com上找到了一个答得好，它教我如何使用文件资源管理器打开.bacpac文件。
我尝试了一下数据库AdventureWorks2008R2，我所做的就是：
将数据库保存为.bacpac文件
将文件扩展名重命名为.zip
解拉链
在这里，您可以看到数据库的表作为文件夹，在每个文件夹中，您可以看到原始数据。
📷
但是当我打开文件夹Person.Address时，我看到里面有38个文件，扩展名为.BCP。
📷
一开始，我告诉大家，它们是数据被分割的页面。但这些不可能是页面，因为它们的重量与67KB有关。页面应该对8KB进行加权。
因此，我用这个查询检查了页面数
浏览 0提问于2021-08-16得票数 4
回答已采纳
3回答
我在Server 2008 R2中有一个大表。它包含数十亿行。我需要在我们的应用程序中加载整个数据集。查询整个表非常慢。我想使用bcp将其转储到文件中并加载它。但问题是，存在字符串列，它包含各种特殊字符，如'\t‘、'\0’、逗号和'\n‘。我找不到一个好的场地/行终结者。但是长字符串结束符减缓了我的应用程序的数据文件加载速度。问题是：
有比SQL查询更快加载数据的API吗？我发现有一个本机导入API IRowsetFastLoad。但在出口方面运气不佳。
BCP本机格式有API吗？我找不到任何关于本机bcp文件格式的文档。
浏览 2提问于2012-03-14得票数 2
回答已采纳
2回答
我是使用Azure SQL数据库的新手。我接到了一个任务，要将一个1亿条记录的文本文件推送到Azure SQL数据库。我正在寻找如何以有效的方式做到这一点的建议。
浏览 0提问于2017-12-04得票数 0
我使用下面这段代码进行SQL大容量复制
using (SqlConnection con = new SqlConnection(strConString))
{
con.Open();
SqlBulkCopy sqlBC = new SqlBulkCopy(con);
sqlBC.DestinationTableName = "SomeTable";
sqlBC.WriteToServer(dtOppConSummary);
}
有没有人可以给我提供使用数据访问块企业库的等价码
浏览 2提问于2010-04-19得票数 0
2回答
自动数据库同步
、、、
我使用的是SQL Server 2008和Visual Studio 2008
我有两个数据库。
我需要在数据库中运行查询，获取这些结果并更新另一个数据库中的表。
这个过程将每小时自动完成一次。
我该怎么做呢？SQL 2000中使用的数据传输服务(DTS)？
还有比这更好的东西吗？
或者我应该写一个windows服务来做这件事？
有什么替代方案吗？
手边有没有教程？
谢谢!
浏览 1提问于2010-02-03得票数 2
回答已采纳
我是这里的新手，想把一些数据导入到我的wordpress数据库(MySQL)中，我想知道你们中的任何一个SQL专家能不能帮上忙？
数据库类型: MySQL
表名：wp_loans
我希望将表wp_loans中的数据完全替换为位于远程服务器上的文件xyz.csv的内容，例如https://www.mystagingserver.com/xyz.csv。
表中的所有现有数据都应替换为CSV文件的内容。
CSV文件的第一行是表标题，因此可以忽略。
如果可能的话，我还想让脚本在每天早上01:00自动运行。
更新
下面是我用来尝试替换表内容的SQL：
LOAD DATA INFILE 'http
浏览 2提问于2013-10-14得票数 2
我想在同一事务中删除旧数据并插入新数据，而不会出现没有任何信息的停滞时间。
因此，我想在bulk insert中删除数据并插入一个巨大的数据。可以在不提交的情况下使用OracleBulkCopy的WriteToServer吗？我想在所有方法的结尾使用相同的事务和提交，这是可能的吗？
你建议我怎么做呢？
谢谢！！
浏览 2提问于2014-09-10得票数 0
设置集群键会影响批量复制性能吗？例如，如果我有一个大表，并且正在将数据加载到其中。其中包含2个聚类密钥。移除群集键有助于更快地加载文件吗？或者因为集群是一个自动化的过程，所以它发生在后端。例如，雪花首先加载数据，然后在后端完成集群，而数据已经可用。
浏览 0提问于2021-11-04得票数 2
回答已采纳
我知道在ADF中，复制活动可以用来将数据从ADLS加载到Azure SQL DB。是否存在散装装船的可能性。例如，ADLS
有没有有效的方法从ADLS加载大量记录到Azure SQL DB。
谢谢马丹
浏览 2提问于2020-10-19得票数 2
回答已采纳
1回答
我必须处理大量的数据(大约4000张图像的各个层的特征图)，这些数据的大小在某个点上超过了50 GB。该处理包括一些计算，之后将大约2MB的文件写入HDD。
由于空闲内存大约为40 is，所以我的进程在某个时间点后崩溃。有没有人能建议一种更好的方法来划分或处理这个50 to的数据，以便可以在可用的ram中进行计算。例如，对于一些内存压缩方法
我只是在寻找解决这个问题的可能方法的提示。
谢谢
浏览 0提问于2017-03-08得票数 0
我想将数据从一个数据库移动到另一个数据库，其中两个数据库位于两个不同的Sybase服务器中。我试过了
"INSERT INTO <target_table_name>
LOCATION target_server.target_database
SELECT FROM (source table or query);"
我已经在RapidSQL工具中从源Sybase服务器执行了上述语句，但它抛出了一个错误“位置附近的语法不正确”。
谢谢
浏览 0提问于2016-04-29得票数 0
1回答
我有2个独立的sql数据库，它们都有相同的字段，但没有附加，是完全不同的文件。其中一个数据库文件有几百行数据，我想将其中的几行复制到另一个数据库文件中。有些人说使用SQL语句来复制数据，但是数据库没有以任何方式链接，所以我不确定这些语句是如何工作的。有没有软件可以让我只选择正确的行并将它们复制过来，或者用所选的创建一个新的数据库？
我希望这是有意义的，谢谢。
浏览 1提问于2014-01-09得票数 0
1回答
对于如何将部署在MySQL实例中的MySQL数据库中的EC2数据发送到集群，我感到困惑。
有什么方法可以用来完成这个任务？
浏览 2提问于2017-07-26得票数 0
回答已采纳
我在2008中的SSIS中使用的批量插入任务编辑器中获得了上述错误。
SSIS Error 0xC001000E at Package: Thrown by connection collection when the specific element is not found
The connection "C:\Temp\Objects.bin" is not found.
Error: 0xC002F304 at Bulk Insert Task, Bulk Insert Task: An error occurred with the following erro
浏览 1提问于2016-04-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
