1回答
我需要从WX2数据库中选择一些数据，并将其放入MYSQL DB中。有人能在这方面帮我吗？mysql数据库要连接到WX2数据库，ODBC.ini配置是否有效？
谢谢
浏览 4提问于2014-09-18得票数 0
1回答
如何在Riak存储桶中插入百万密钥？
一次一个地插入它们需要太长时间。
理想情况下，我喜欢MySQL的"LOAD DATA INFILE“。
浏览 0提问于2014-05-16得票数 1
我们将使用SQL Server和MYSql数据库启动MVC5应用程序。
请帮助我选择最可靠的ORM，包括性能、路线图、支持、文档、易学/易维护等。
我曾考虑过遵循ORMs -
实体框架1) nHibernate 3.3 2) EF 6.0 3) BL工具包
还可以和我分享性能统计信息(最新版本)
浏览 3提问于2014-08-06得票数 0
1回答
我正在尝试将我的130 S3的数据从S3导出到Auroa/MySql RDS。我有10个节点的10r4.4xlarge集群配置。“极光”开始了
Aurora : db.r3.2xlarge 8 CPU, 61 GB RAM)
此外，当我运行我的Sqoop命令时，我可以看到917个映射器被踢出。但是导出仍然非常非常慢，.It需要2个多小时才能加载所有数据。
下面是我正在尝试执行的Sqoop命令。
sqoop export \
--connect jdbc:mysql://a205067-pppp-ec2.abcd.us-east-1.rds.amazonaws.com/tprdb \
--use
浏览 1提问于2018-10-18得票数 0
2回答
我有多个客户端插入记录到一个中央mongo数据库中的表(其中有300万条记录)。如果是mysql/oracle，我可以使用sql-loader/存储过程来批量处理插入。有没有通用的方法来优化这样的senario？
浏览 1提问于2014-03-18得票数 0
我正在尝试将csv文件加载到Mysql。该文件有一百万条记录，所以我正在进行1000的批量插入。我使用python库sqlalchemy和pymysql。在第一批插入后，我得到了错误
( pymysql.err.InternalError) (1366年，“不正确的字符串值：‘\xC2\xC2\xB7\xC3\xA5.’
第50行的“FHCNM”栏。我想跳过这个特定的批次，插入剩下的批。我是用python中的try..except..finally块来实现这一点的。在这里，我在不同的批中得到相同的错误(pymysql.err.InternalError)。如何多次处理单个异常？现在，我试着
浏览 1提问于2020-05-02得票数 0
1回答
我有一个客户端Java7应用程序，它必须向数据库中插入大量的小数据(几列)。数据库(Mysql 5.6)位于我的服务器上。客户端Java应用程序在循环中调用存储过程以插入单行。行很简单，看起来像这样：
int | int | varchar | varchar | int | datetime
现在我这样做是这样的(伪代码)：
try(DbConnection conn = new DbConnection()) {
for(RowModel model : rowModel) {
//inserting row here
}
}
catch(SqlException e) {
//proce
浏览 0提问于2016-04-21得票数 0
我正在开发一个数据收集应用程序，它涉及到对MySQL数据库的常量插入。我正在使用Python和PyMySQL来完成这项工作。我需要每秒在主表中插入大约100行。python进程一直在运行，并维护与驻留在远程服务器上的MySQL数据库的持续连接。
我知道，一般来说，最好是以缓冲区的形式插入数据(一次插入多行)，而不是单独插入。每100次左右的插入进行一次提交(PyMySQL中的connection.commit())是否可以实现与一次性插入大量数据相同的开销减少？
出于语法上的原因，将行插入分离到单独的操作中会更容易。
浏览 2提问于2018-07-01得票数 0
MariaDB可以被认为是MySQL的一个分支
我有一些用C语言编写的软件，它使用SQLite进行一些操作。我已经实现了MySQL后端，作为一个加速DB性能的实验。但令人惊讶的是，它并没有太快。基本上，我有一个简单的桌子：
CREATE TABLE `events` (
`id` BIGINT PRIMARY KEY AUTO_INCREMENT,
`type` VARCHAR(24) NOT NULL,
`time` VARCHAR(32) NOT NULL
)
没有显式外键，插入没有触发器等等。然后，简单的插入
INSERT INTO `events` (`type`, `ti
浏览 7提问于2013-04-20得票数 0
回答已采纳
我正在尝试优化将大量结果插入到远程mySQL数据库的过程。为此，我使用了简单的jdbc。
目前，我正在用PreparedStatement替换现有语句，用addBatch/executeBatch方法替换execute方法。有人知道批处理执行的限制是什么吗？在执行之前需要添加多少批才能确保进程不会失败？这些查询不是特殊查询，它们没有blobs或其他大字段。
浏览 3提问于2010-12-09得票数 7
回答已采纳
我正在为不同的客户制作独特的托克斯。对于每个客户端请求，我必须生成100万个唯一令牌。生成唯一的标记需要很长时间，因此我使用延迟作业gem在后台执行此活动。
Flow of my application is as below
1) Client machine sends an api request to remote server to generate 1 million unique tokens.Remote machine sends response back to client machine with status "pending" and start g
浏览 1提问于2015-12-23得票数 0
回答已采纳
我有一个使用Mysql的asp.net应用程序。我在运行MySQL的服务器上测试它。当应用程序运行时，它消耗了40%的cpu。我在同样运行MySQL的生产服务器上运行相同的代码，现在它消耗了99%的cpu使用量。MySQL配置中的什么设置将影响CPU消耗水平？因为我运行的代码是相同的，但结果完全不同。
下面是高cpu使用率mysql的配置：
[mysqld]
interactive_timeout=28800
wait_timeout=28800
port=3306
datadir=C:/ProgramData/MySQL/MySQL Server 5.7\Data
character-
浏览 0提问于2019-09-27得票数 0
2回答
我正在处理一个批处理过程，它将慢速遗留数据库中的80万条记录(每次记录提取time...it加起来1.4-2ms)中的~80万条记录转储到MySQL中，这样可以执行得更快一些。为了优化这一点，我一直在将所有的MySQL记录加载到内存中，这使使用量达到了大约200 To。然后，我开始从遗留数据库中转储并更新记录。
最初，当它完成更新记录时，我将调用SaveContext，这将使我的内存从大约500 my 800 my跃升到1.5GB。很快，我就会摆脱内存异常(正在运行的虚拟机有2GB的RAM)，即使我给它提供更多的RAM，1.5-2GB的内存仍然有点过高，这只是为问题提供了一个创可贴。为了弥补这
浏览 6提问于2012-06-29得票数 9
回答已采纳
我在MySQL5.6版本中有非常大的InnoDB表，我想尽可能快地添加键一个唯一的键，数据来自恢复的数据库，所以所有的键都会被检查，我在外键中看起来类似于SET FOREIGN_KEY_CHECKS=0;。有这样的东西做钥匙吗？
浏览 0提问于2019-07-28得票数 0
我有一个使用nodejs插入到MySQL数据库中的数据列表。我把守则写成：
con.connect(function (err) {
myArray.forEach((el)=>{
con.query(1stQuery,1stValue,(error,result)=>{
//dosomething with result
con.query("SELECT LAST_INSERT_ID();",(error2,result2)=>{
myArray.child.f
浏览 4提问于2018-06-26得票数 0
回答已采纳
直接到Qeustion ->。
问题:使用MySql (来自.NET和PHP后台)执行异步批量插入(如果Node.js可以处理，则不需要大容量)
示例:假设我有40个(可调整的)函数做一些工作(异步)，每次在表中添加一个记录后，它的一次迭代，现在很可能是同时多个函数进行插入调用。考虑到将有一个自动更新字段，MySql能够直接处理它吗？
在C#(.NET)中，我会使用dataTable来包含每个函数中的所有行，并在最后大容量地将dataTable插入数据库表中。并为每个函数启动多个线程。
在这种情况下你会建议采取什么方法，
如果我需要处理每个表10,000或4百万行，这种方法会改变吗？AL
浏览 1提问于2012-02-19得票数 0
回答已采纳
1回答
当将DBOutputFormat与hadoop结合使用时，假设最后的结果是转到MySql数据库。每次写结果时Hadoop会创建单独的连接吗？( DB会因为太多打开连接而不堪重负)。我没有使用这种格式，所以任何关于这个格式的建议都是可以接受的。它会比Sqoop有更好的性能吗？Sqoop还可以用于将输出文件导出到DB。请分享你的观点。
浏览 6提问于2012-09-18得票数 1
回答已采纳
我使用MySQL5.6.9-rc和.net连接器6.5.4将数据插入到一个有两个字段(整数ID，整数数据，ID是主键)的表中。将2000行插入到表中非常慢(大约35秒)(对于UpdateBatchSize =1和UpdateBatchSize =500没有太大区别)，我也尝试了连接器6.6.4，问题仍然存在。
然而，在MySQL5.4.3和连接器6.20中速度很快，如果将UpdateBatchSize设置为500，则只需要一秒钟就可以将2000行插入到表中(如果UpdateBatchSize =1，速度也会很慢)。然后我用MySQL5.4.3和连接器6.5.4或6.6.4测试它，它很慢！
我像
浏览 0提问于2012-12-26得票数 1
1回答
我使用批量更新脚本来更新嵌套字段，但这非常慢：
POST index/type/_bulk
{"update":{"_id":"1"}}
{"script"{"inline":"ctx._source.nestedfield.add(params.nestedfield)","params":{"nestedfield":{"field1":"1","field2":"2"}}}}
{"upda
浏览 2提问于2017-10-18得票数 3
回答已采纳
我是在生产MySQL中运行的应用程序的新维护者。以前的维护者留下的文档很少，而且是不可接触的。
我面临的问题是，执行以下请求大约需要10秒：
SELECT COUNT(*) FROM `users` WHERE (`active` = TRUE AND `deleted_at` IS NULL);
users表中有大约17万条记录，没有索引。
对此请求的解释命令：
mysql> EXPLAIN SELECT COUNT(*) FROM `users` WHERE (`active` = TRUE AND `deleted_at` IS NULL);
+----+-------------
浏览 6提问于2011-01-17得票数 1
回答已采纳
我正在尝试将csv文件记录写入Aurora Mysql RDS。我没有进行任何设置/性能调优。
it is taking 7 minutes to write 500 lines/records
这是正常的还是我需要更改任何设置。我正在使用jooq。
Loader<?> loader = create.loadInto(Tables.DUMMY_PROCESS_LISTING)
.onErrorIgnore()
.loadCSV(new File("/tmp/" + fileName))
.fields(Tables.
浏览 1提问于2017-08-25得票数 1
对于mysql查询，我是新手，下面有三个需要很长时间才能解决的查询。是否有更好的方法来执行以下操作
await db.transaction((trx) => {
let queries = existingProductsArr.map((tuple) => {
const id = tuple.id;
delete tuple.id;
return trx('product')
.update(tuple)
.where({ id })
浏览 12提问于2022-07-01得票数 1
我需要使用asp.net/C#读取excel表，并将所有记录插入到mysql table.The excel表中，该表由大约2000行和50列组成。目前，在读取excel记录时，我将使用准备语句一个接一个地将记录插入到mysql table.But中，由于数据量巨大，大约需要70秒才能这样做。
我还考虑过创建一个新的数据方式，为每个单元分配值，将得到的数据添加到datatable中，最后调用dataadapter.update(.).But--这似乎很复杂，因为我有大约50列，因此我必须将50个值分配给datarow。
能否有人建议，如果有一个替代方案，以提高插入的性能？
谢谢
浏览 1提问于2010-06-01得票数 4
1回答
我使用LOAD DATA LOCAL INFILE填充具有以下结构的表：
CREATE TABLE `player_talent` (
`player_id` int(10) unsigned NOT NULL,
`talent_id` int(10) unsigned NOT NULL,
`level` tinyint(4) NOT NULL,
PRIMARY KEY (`player_id`,`level`),
KEY `player_talent_talent_id_foreign` (`talent_id`),
CONSTRAINT `player_talent
浏览 3提问于2017-10-12得票数 0
回答已采纳
是否有可能在Kibana Dev中变异两个字段。工具/控制台，即纬度，使用已从MySQL导入的现有索引和字段，将经度转换为geo_point类型的字段。
我们的想法不是从MySQL重新导入所有数据并通过Logstash。
浏览 1提问于2017-10-12得票数 0
我有一个包含140列的MySQL表和一个包含大约80k行的txt文件，即该表的7.5k条目(行)。
哪一个会更快？
"insert into myTable (<140列names>)值(<140列entries>);“我应该一次输入一行(每行只输入一个数据库事务，但由于有140列，单独的insert语句将非常长)
或
"update myTable set = where =...;“逐个输入列条目(进行多个数据库事务)
浏览 2提问于2012-12-31得票数 0
回答已采纳
的情况：我使用(php) cronjob来保持我的数据库的更新。受影响的表包含约40 000条记录。基本上，cronjob删除所有条目，然后插入它们(具有不同的值ofc)。我必须这样做，因为它们都会改变，因为它们都是相互关联的。
问题:实际上，一切都很好。这个任务是在1.5到2秒内完成他的工作(同样，大约40k的插入-我认为这是足够的)。主要是..。但有时，查询最多需要60、90甚至120秒！
我索引了我的数据库。我认为查询是很好的工作，因为它只需要2秒的时间。我通过mysql_close()关闭连接；
你有什么想法吗？如果您需要更多的信息，请告诉我。提前谢谢。
编辑：，似乎插入没有问题。这是
浏览 0提问于2014-05-08得票数 0
我想要插入大量的数据，我应该使用什么:单个insert into语句，还是必须使用批量插入？还有别的事吗？我问这个问题的原因是，我的CrateDB节点的磁盘平均只以11kb/s的速度繁忙，而使用单次插入的磁盘负载是100%！
此外，是否支持像INSERT INTO IGNORE这样的东西？我是否可以在CrateDB中批量抛出我的数据，而它将忽略重复的条目？
谢谢!
浏览 15提问于2017-01-15得票数 0
回答已采纳
2回答
我们的项目需要近乎实时的搜索和不断的更新。数据当前存储在MySQL数据库中，并且随着数据库的修改，Lucene索引也会随之更新。
我们目前在我们想要的地方有搜索功能。然而，我们正试图在索引/数据库中添加“标记”文档的功能。由于数据点可以是数百万条记录，我们不希望更新Lucene索引来进行标记(或者如果有一种方法可以批量更新Lucene，也可能会起作用)。相反，我们在MySQL中有一个文档in表，我们希望使用它来确定标记集。
到目前为止，我找到的最好的选择是以整数数组的形式检索这两个is列表，对它们进行排序(所以我只需要循环一次)，然后遍历并查找两者之间的匹配(尽管这并不理想，因为我们可能会丢失
浏览 4提问于2010-02-11得票数 1
4回答
我正在尝试使用EclipseLink优化我的JPA实现。我给它增加了批处理操作。但是，做5万次插入还需要很长时间。使用原始SQL和JDBC执行完全相同的插入需要花费10倍以上的时间。
为了确保批处理操作实际上是有效的，我使用Wireshark检查包，并且它没有使用批处理插入。
以下是一个插入数据包：
它没有这样做：
INSERT INTO ENTITYCLASSTEST (LASTNAME, NAME) VALUES ('sfirosijfhgdoi 0', 'dsufius0'), ('sfirosijfhgdoi 0', '
浏览 3提问于2014-10-17得票数 6
回答已采纳
您好，我正在使用以下脚本将数据从mysql迁移到redshift。
mysql_table_name = 'clabDevelopment.KPI_kpireport'
mysql_cur = mysql_conn.cursor()
mysql_cur.execute('select * from %s where Date = "2018-01-01";' % mysql_table_name )
description = mysql_cur.description
rows = mysql_cur.fetchall()
# Insert
浏览 29提问于2018-06-29得票数 1
我目前正在使用位于内部网内的MySQL DB。只有局域网内的人才能访问这些信息。
我正在尝试在云提供程序中重新创建MySQL DB。其他人也可以从不同的地点访问它。
当人们在云中更新MySQL DB时，是否有方法将信息同步到内部网中的MySQL DB，反之亦然？
我正在考虑使用MySQL作业事件，比如将数据导出到insert/update脚本文件，然后将文件转储到本地intranet文件夹中。如果有新的转储，内部网MySQL还将对此文件进行作业事件检查。
我不知道这是否是完成这项任务的正确方式。
任何有用的建议都是非常感谢的。
浏览 0提问于2014-09-09得票数 1
回答已采纳
我有几个50+ MB大小的csv文件需要导入到我的MySQL服务器。我尝试使用PhpMyAdmin导入一个，Apache服务器崩溃了。我已经尝试了几个窗口工具，比如MySQL工作台，但是没有找到导入csv的选项。
我不知所措。我能做什么?
浏览 1提问于2011-03-19得票数 2
回答已采纳
据我所知(如果我错了，请纠正我)，backpack只处理$fillable字段。整个$guarded不就是$fillable和laravel之间的分离吗？
MWE：
在User.php中：
class User extends Authenticatable {
protected $guarded = ['password'];
}
在UserCrudController.php中：
public function update(UpdateRequest $request)
{
$this->handlePasswordInput($request);
浏览 2提问于2018-01-10得票数 1
我认为NHibernate比EF更快。但是这段代码告诉我，EF大约是1s，而Nhibernate大约是2~4s。查询有什么问题吗？
要点链接：
这是一个单独的表，没有链接，与其他人没有关系，但只有300k行数据。
MySQL.EF5，NHibernate 3.3.
浏览 0提问于2013-01-19得票数 0
我使用的是最新的EclipseLink版本和MySQL 5.5 (表类型InnoDB)。我一次插入大约30900张唱片(也可能更多)。问题是，insert性能非常差:插入所有记录需要大约22秒(与JDBC: 7秒相比)。我读过，使用批次书写应该有帮助-但没有！？
@Entity
public class TestRecord {
@Id
@GeneratedValue(strategy = GenerationType.IDENTITY)
public Long id;
public int test;
}
插入记录的代码：
factory = Persis
浏览 4提问于2011-06-21得票数 2
回答已采纳
我有一个BCP进程将数据从一台服务器移动到另一台服务器，但是它需要两次旅行:一次到.dat文件，一次到目标服务器。是否有任何方法直接将所有数据发送到目标服务器？
我在努力提高这个过程的速度。
浏览 1提问于2014-04-11得票数 0
回答已采纳
我想在Elasticsearch中索引一个有100万行的MySQL表。我通过PHP和foreach循环尝试了这一点。但过了一段时间，Elasticsearch并没有做出回应，整个过程也陷入了僵局。我试过一些配置，但没有起作用。我认为ElasticSearch不能达到PHP的速度。以前有没有人遇到过这个问题？我该如何解决这个问题？
我的elasticsearch配置；
bootstrap.mlockall: true
indices.fielddata.cache.size: 40%
http.max_content_length: 1024mb
indices.recovery.max_by
浏览 2提问于2017-02-27得票数 1
回答已采纳
在我的程序中，我使用任务并行库来减少进程的时间。我使用这段代码来完成这项工作。
Task[] tasks = new Task[10]
{
Task.Factory.StartNew(() => DoFiles(fullNum,NotFullNum, 1 , (e.Argument as string[])[1])),
Task.Factory.StartNew(() => DoFiles(fullNum,NotFullNum, 2 , (e.Argument as string[])[1])),
Task.Factory.StartNew(() =>
浏览 6提问于2013-08-27得票数 3
2回答
就性能而言(时间和服务器负载)，多个插入或具有多个值的单个insert更好。
我在这里发现，在堆栈溢出中，每次插入最多可以有1000个值集。
我说的是两种情况.
大约1000-3000值要插入
有时，在mySQL DB中，我将有20000到30000的值集给inser。
浏览 2提问于2014-04-25得票数 2
回答已采纳
我需要bulkInsert很多数据。
我正在使用一个内容提供者，并希望利用bulkInsert方法(我正在覆盖它)来使我能够将整个过程包装在一个数据库事务中
bulkInsert方法接受一个contentValues数组作为它的参数，这在处理单个表时很好，但是我有一个父子关系需要插入
实际插入所需的代码不是问题所在。我正在努力解决的问题是如何将contentValues的二维数组传递给内容提供者的bulkInsert方法
如果这是不可能的，那么我如何使用contentProvider批量更新100个父记录，每个父记录都有许多子记录？
可能不相关，但只是为了提供一个更完整的图景-数据是以JSON
浏览 3提问于2011-11-10得票数 1
回答已采纳
2回答
我读到这个实现做了某些假设，比如写优化，主要是追加写操作，顺序删除，但是它的实现中有什么使时间序列数据库比具有适当索引和关系结构的mysql更适合存储时间序列。
浏览 2提问于2016-02-29得票数 2
1回答
使用SSIS目标，使用提交大小为1的快速加载与不使用快速加载选项的插入有什么不同。
我理解使用快速加载将调用bulk insert命令，而第二个选项只是简单的insert。实际的问题是，是否有任何性能开销来执行最大提交大小等于1的大容量插入。
我们将非常感谢对每一种情况下所发生的事情的解释，以及从2008年开始，不同版本之间是否存在任何差异。
浏览 0提问于2016-03-30得票数 0
1回答
我正在尝试对couchbase和其他几个产品进行批量读/写性能测试，但看起来我不能使用couchbase进行批量插入。couchbase .net (1.8)是否支持批量插入？
谢谢,
浏览 1提问于2012-10-05得票数 1
2回答
嗨，我正在处理一个项目，我们需要每天处理几个xml文件，并用这些文件中包含的信息填充数据库。
每个文件大约1Mb，包含大约1000条记录；我们通常需要处理12到25个这样的文件。我看过一些关于使用NHibernate进行批量插入的信息，但是我们的问题在某种程度上更加棘手，因为xml文件包含混合了更新记录的新记录。
在xml中有一个标志，它告诉我们特定的记录是新的记录，还是对现有记录的更新，但不会告诉我们更改了什么信息。xml记录不包含我们的数据库标识符，但是我们可以使用xml记录中的标识符在数据库中唯一地定位记录。
到目前为止，我们的策略是识别当前记录是insert还是update，并基于此在
浏览 0提问于2009-02-18得票数 7
回答已采纳
我想向数据存储中添加100个实体(然后更新和删除它们)，但我不知道如何在低级api中做到这一点。我是用JDO写的。针对低级的文档非常缺乏。
浏览 2提问于2012-08-19得票数 0
2回答
评级地点
、、、
我正在尝试使用以下收据生成评等位置表
但我的数据库负载很高。
我尝试不创建表，而是使用内存表并使用以下SQL查询更新它
插入tops ( uid )从用户选择uid，按exp；订购
但是得到了下面的MySQL错误
尝试锁定时发现死锁；尝试重新启动事务
因为在执行SQL select之前查询太多。
如何解决这个问题？
P.S. 创建桌面，因为选择的工作几乎很好，除了高服务器负载.加载平均: 50，如果顶部是非内存表。
我的表用户有将近450万行。
谢谢你的建议。
浏览 2提问于2010-05-28得票数 2
我想写一个mule应用程序，它将读取数据库中未处理的记录，在JSON有效负载中俱乐部，然后点击REST webservice，REST webservice(托管在不同的服务器上)将处理这些记录并返回JSON输出。现在，我必须解析JSON并更新数据库中的processed标志。
我可以从REST webservice得到响应，我已经使用字节数组到字符串的转换来登录日志记录器。
我是否需要编写foreach组件来逐个处理有效负载并更新数据库？
下面是我的配置XML
<?xml version="1.0" encoding="UTF-8"?>
<
浏览 21提问于2016-09-27得票数 0
在pentaho 4.4.0中使用"Insert/Update“步骤时，数据加载很慢
我使用的是pentaho 4.4.0。在水壶中使用“插入/更新”步骤时，与mysql相比，数据加载的速度太慢。此步骤将在插入之前扫描整个表中的记录。如果该记录存在，它将进行更新。那么，在执行“插入/更新”时，应该如何优化性能呢？而且处理速度是4r/s，所以我的记录总共将超过1lkh…整个过程需要两个半小时才能完成。
浏览 1提问于2014-01-07得票数 1
我目前正在向一个表中添加数十万行数据，首先是在MS Access表中，然后是在MySQL表中。
我第一次尝试使用MS Access，不到40秒。然后，我尝试了与MySQL完全相同的源和表结构，花了6分40秒。那就慢了1000%！
那么，数据库服务器具有更好的性能是不是一个神话呢？
浏览 8提问于2010-05-09得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
