3回答
我雇了一个程序员把我的网站--最初是用Django和MySQL实现的--移植到Google App Engine。原始web应用程序的数据库大小约为2 GB，最大的表有500万行。据我所知，为了移植这些内容，程序员正在将数据库序列化为JSON，然后将其上传到Google app engine。
到目前为止，他的上传已经使用了100小时的CPU时间，但看起来只有50或100 MB加载到数据库中。对于如此少量的数据，这是一个合理的CPU时间吗？MySQL可以在几分钟内加载这么多数据，所以我不明白为什么GAE会慢1000倍。他是不是做了什么效率低下的事情？
浏览 0提问于2011-07-15得票数 2
1回答
当将DBOutputFormat与hadoop结合使用时，假设最后的结果是转到MySql数据库。每次写结果时Hadoop会创建单独的连接吗？( DB会因为太多打开连接而不堪重负)。我没有使用这种格式，所以任何关于这个格式的建议都是可以接受的。它会比Sqoop有更好的性能吗？Sqoop还可以用于将输出文件导出到DB。请分享你的观点。
浏览 6提问于2012-09-18得票数 1
回答已采纳
我正在尝试从SQL server获取数据并插入到MySQL中。我已经拿到了1lac的记录。记录的获取是正确的，但是在将记录插入到MySQL中的过程中，它不会立即插入数据。我需要刷新MySQL才能看到新记录。
var sql = require('mssql');
var mysql = require("mysql");
var config = {
user : 'sa',
password : '******',
server : 'serverurl'
浏览 1提问于2015-12-01得票数 0
我希望对一个方法的调用是并行的。在此方法中，我计算一些值(非常快)，并将此计算的值写入数据库表中。
因此，我使用线程池
ThreadPool.QueueUserWorkItem((state) => {
method();
});
经过一段时间的计算(不是确定性的，发生这种情况的时间不同，有时是几分钟后，有时是几小时后)，线程池是满的，但不是方法()的线程，而是调用MySqlCommand.ExecuteNonQuery的mysql类的线程。
有谁知道如何避免这种情况吗？在mysql类的文档中，我发现不能终止正在执行的查询，但是如何避
浏览 0提问于2009-09-23得票数 0
回答已采纳
标题说明了大部分问题，我想知道MySQL是否适合存储这些数据(如果不适合，还有什么更好的)？
它最有可能是每季度发送3到6个浮点数。(每年在1-3 GB之间)
同时，这些数据需要是从MySQL实时(或接近)访问的，这样在数据库上运行一些(可能很大的)查询时，它就不会错过一个节拍。
MySQL能处理这个问题吗？我不知道这种数据库是如何扩展的，也不知道是什么构成了这些数据库一次“大量”的信息。
如果数据库接收相同的信息，但每5-10分钟聚集成一个大的更新，这会改变答案吗？
浏览 0提问于2011-11-04得票数 0
回答已采纳
1回答
我需要从WX2数据库中选择一些数据，并将其放入MYSQL DB中。有人能在这方面帮我吗？mysql数据库要连接到WX2数据库，ODBC.ini配置是否有效？
谢谢
浏览 4提问于2014-09-18得票数 0
1回答
我正在获取一个大型的json数据集，其中包含带有酒店信息的1500+记录，并试图将其呈现为HTML语言，这会导致浏览器挂起/崩溃或变得完全没有响应。
该应用程序是一个PHP3( CodeIgniter /MySQL)应用程序，其中的一个控制器方法向远程服务器发送curl请求，并接收我需要呈现的大型数据集。
我将其全部呈现在服务器端，然后将视图回显为ajax响应，这显然是不起作用的。
另一个问题是，我无法从服务器获取数据块，要么一次性获取所有数据，要么什么都不获取。
在这一点上，我没有想法，有没有更好的方法来渲染数据集，而不是在服务器端处理整个数据集，并将其回显到浏览器(显然，响应大小太大，导致
浏览 0提问于2018-06-21得票数 0
2回答
我们的项目需要近乎实时的搜索和不断的更新。数据当前存储在MySQL数据库中，并且随着数据库的修改，Lucene索引也会随之更新。
我们目前在我们想要的地方有搜索功能。然而，我们正试图在索引/数据库中添加“标记”文档的功能。由于数据点可以是数百万条记录，我们不希望更新Lucene索引来进行标记(或者如果有一种方法可以批量更新Lucene，也可能会起作用)。相反，我们在MySQL中有一个文档in表，我们希望使用它来确定标记集。
到目前为止，我找到的最好的选择是以整数数组的形式检索这两个is列表，对它们进行排序(所以我只需要循环一次)，然后遍历并查找两者之间的匹配(尽管这并不理想，因为我们可能会丢失
浏览 4提问于2010-02-11得票数 1
是否有可能在Kibana Dev中变异两个字段。工具/控制台，即纬度，使用已从MySQL导入的现有索引和字段，将经度转换为geo_point类型的字段。
我们的想法不是从MySQL重新导入所有数据并通过Logstash。
浏览 1提问于2017-10-12得票数 0
我有壁纸网站。我有很多没有标签的帖子，我尝试了一些插件来自动添加标签，比如简单的标签，你需要设置一些标签，它会自动使用这些标签来发布，然后我使用了自动标签帖子选项，它将所有的50-60标签添加到多个单独的帖子中，这意味着它在500个帖子中为每个帖子添加了50-60个标签。现在对我来说编辑每一篇文章并删除不想要的标签是非常耗时的。有任何方法可以通过MySQL查询删除那些50-60个标签吗？插件或mysql查询都可以做到这一点。请帮帮忙。
浏览 0提问于2014-01-06得票数 1
在InnoDB中执行大容量InnoDB时，是否应该使用事务
START TRANSACTION;
INSERT INTO tbl_name (a,b,c) VALUES(1,2,3);
INSERT INTO tbl_name (a,b,c) VALUES(4,5,6);
INSERT INTO tbl_name (a,b,c) VALUES(7,8,9);
COMMIT TRANSACTION;
还是合并多个查询？
INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);
如果重要的话，我使用的是PHP，MySQL数据库位于同一台
浏览 6提问于2015-12-24得票数 8
回答已采纳
2回答
这不是一个代码修复问题，但请在可能的情况下帮助我。
我正在开发一个需要在数据库中存储信息的应用程序。出于安全原因(患者数据)，此信息需要存储在设备外。
我已经探索过使用PHP作为通过WAMP本地托管的外部MySQL数据库的桥梁，但是最近我被告知servlet和SQLite。
当我在有限的时间框架内学习这些技术时，我需要知道应该将我的时间投入到哪些方面，以便尽可能轻松地完成工作。我没有任何查询语言的经验，但我得到了一个简单的登录屏幕，在android上使用PHP和MySQL，在WAMP上，在Android中使用HTTP post/fetch。
此外，有没有可能将信息存储在安卓系统的SQLite中
浏览 2提问于2011-11-12得票数 1
回答已采纳
在该模型中，存在某些批量操作，如批量插入、创建索引、选择INTO等。在事务日志中没有完全记录，因此在事务日志中占用的空间不多。
在“大容量日志恢复模式”中，“批量”的技术含义是什么？我需要弄清楚什么-请全部归类为散装。每一次大容量插入、创建索引、选择为大容量还是取决于所涉及的数据量？
据我所知，大容量日志恢复模型并不能完全记录大量事务。那为什么它是这样命名的？
浏览 0提问于2018-10-10得票数 0
最近，我从OWL API切换到Jena，希望能够提高数据插入和查询的性能。
因此，我首先使用Jena SDB将OWL本体加载到基于MySQL的三元组存储中。因此我使用了
model.read("owl-concepts.turtle")
Jena在三元组存储中创建了大约1500个节点(在Mysql表中)。最初，我对节点的数量之多感到有点惊讶。但这似乎是合理的，因为OWL本体包含大约80个具有几个数据和对象属性的OWL类。
为了从本体中读取数据(个体)，我利用了Jena SDB接口。我检索了一个模型，并基于该模型生成了一个ontModel。我使用该ontModel来修改个人，例如
浏览 2提问于2013-09-06得票数 1
2回答
我试图在两个MSSQL 2008数据库之间移动几个数据表，我为一个表生成了数据插入脚本，这个表很大(大约350万行)--脚本大约是3GB。当我尝试用SSMS打开脚本时，我会得到以下错误：
📷
有没有办法让SSMS让我打开这个脚本，或者将数据导出到更容易导入的其他格式中。
浏览 0提问于2012-04-22得票数 2
回答已采纳
我必须将大量的整数和浮点数从c应用程序放入mysql数据库中。
目前，我正在通过将所有这些值转换为字符串，然后将它们传输到数据库来完成此操作：
char * sql_query[2048];
sprintf(sql_query, "INSERT INTO my_table VALUES (%u, %u, %d, %.7f, %u, .....");
if (mysql_real_query(&mysql, sql_query, strlen(sql_query)) {
fprintf(stderr, "SQL Request failed: Error:
浏览 0提问于2012-01-26得票数 0
回答已采纳
我有一个使用Mysql的asp.net应用程序。我在运行MySQL的服务器上测试它。当应用程序运行时，它消耗了40%的cpu。我在同样运行MySQL的生产服务器上运行相同的代码，现在它消耗了99%的cpu使用量。MySQL配置中的什么设置将影响CPU消耗水平？因为我运行的代码是相同的，但结果完全不同。
下面是高cpu使用率mysql的配置：
[mysqld]
interactive_timeout=28800
wait_timeout=28800
port=3306
datadir=C:/ProgramData/MySQL/MySQL Server 5.7\Data
character-
浏览 0提问于2019-09-27得票数 0
1回答
我正在做一个项目，涉及插入到数据库中的大量数据。我想知道是否有人知道如何在数据库中填充2或3个表在相同的time.An示例或伪解码将是有帮助的。谢谢
浏览 1提问于2010-04-10得票数 2
4回答
在考虑提供表(但不是创建)和测试数据(但不是插入)时，您在MySQL中创建和填充测试表的方法是什么？
你用的是什么客户？
编辑：这里是一个简单的。
浏览 8提问于2009-12-17得票数 0
回答已采纳
我们有一项服务，每天有数百个同时连接，大约2000次，每天大约300万次点击，而且还在增长。对于每个请求，我需要将4到5个数据记录到MySQL，我们最初使用的是应用程序附带的日志记录，但是它的效率非常低，并且会以平均cpu负载的3倍以上的速度运行我的数据库服务器，最终会使服务器瘫痪。
在这一点上，我们将添加我们自己的日志到应用程序(php)中，记录数据的唯一选项是MySQL数据库，因为这是所有http服务器可用的唯一公共资源。这些数据将主要是写入，但是我们每天都会根据这些数据生成报告，然后对旧数据进行压缩和归档。
有什么建议可以确保我不会因为日志记录数据而关闭我们的服务？
浏览 0提问于2011-02-03得票数 2
回答已采纳
我使用的是microsoft visual studio 10 c++和mysql工作台。我有大量的excel文件，我想要将所有excel文件的内容更新到一个mysql表中。我可以为每个excel文件创建一个csv文件，然后导入它，但我希望它是在存储过程的帮助下完成的。我想使用c++.And，此过程必须与不同的excel文件重复。
我在考虑将我的c++程序同时连接到excel和mysql (这可能吗？)读取excel文件并将数据添加到mysql表中。我已经将我的程序连接到mysql数据库。任何其他方法都将不胜感激。
浏览 3提问于2014-07-10得票数 0
您好，我在哪里可以找到演示内容？一些类似备份的数据库或现场演示与大量的文件。我需要它来测试系统的设施，并熟悉工作流程。另外，我不需要视频
浏览 1提问于2010-09-30得票数 0
回答已采纳
1回答
我有一个包含主auto_increment键的mysql表。
我有500个csv文件，每个文件大约有3 3gb的数据，大部分数据在一列中。
目前，我使用以下命令将文件加载到mysql中：
#!/bin/bash
for file in /files/*.csv
do
mysql -e "load data local infile '$f' into table myTable FIELDS TERMINATED BY ','
ENCLOSED BY '\"' escaped by '\"'
浏览 48提问于2017-07-26得票数 1
2回答
我读到InnoDB应该比MyISAM更擅长写到MySQL中，但是，我正在通过运行3000个MySQL查询(插入行、8列+id)来尝试.但结果并没有达到我的期望。
使用InnoDB，执行时间约为5.3秒，而对于MyISAM，执行时间约为2.2秒。
我目前的mysql配置是：
innodb_io_capacity = 8000
innodb_read_io_threads = 64
innodb_write_io_threads = 64
innodb_log_buffer_size = 32M
innodb_log_file_size = 564M
innodb_buffer_pool_siz
浏览 0提问于2015-05-08得票数 0
您好，我正在使用以下脚本将数据从mysql迁移到redshift。
mysql_table_name = 'clabDevelopment.KPI_kpireport'
mysql_cur = mysql_conn.cursor()
mysql_cur.execute('select * from %s where Date = "2018-01-01";' % mysql_table_name )
description = mysql_cur.description
rows = mysql_cur.fetchall()
# Insert
浏览 29提问于2018-06-29得票数 1
因此，下面是我立即插入postgres的数据列表：
session.bulk_insert_mappings(model_name, data)
session.commit()
但是，在执行此操作时，事件"after_insert“不是triggered.Do，Sqlalchemy中的事件不会触发批量操作，还是我遗漏了什么？我对Sqlalchemy的事件处理很陌生。
浏览 1提问于2021-07-12得票数 1
回答已采纳
目前我的数据库设计还不规范。
当用户访问网站时，会存储所有数据，如浏览器全名、操作系统名称等。这导致数据库以每天大约10 to的速度非常快地增长，每天只有200万人(每天200万次插入)。然而，这只意味着每个数据只有一次插入。我使用的是mysql和php。
现在我在想，如果我对数据进行归一化，是否会更快。我的意思是为操作系统名称和操作系统id、浏览器名称和浏览器id创建单独的表。然后使用流量日志表中的in。在这种情况下，在浏览器表和os表中对id进行两次查找，如果它们不存在，则执行两次插入，然后在业务日志表中插入浏览器id和os id。因此，2个选择和2个潜在插入和1个设置插入。
哪一个可能更
浏览 1提问于2011-07-22得票数 3
回答已采纳
我有一个读取大型数据集，然后将其插入数据库的过程。我正在讨论SimpleJdbcInsert和普通的PreparedStatements之间的问题。 虽然前者肯定看起来easier....is它在一个重要的方式更慢？我想知道是否有人看过/做过性能比较。
浏览 19提问于2018-12-22得票数 0
回答已采纳
1回答
我需要使用NodeJS将大约250万行从MySQL迁移到Firebase，并寻找有效的方法来做到这一点。
在MySQL数据库中，有些列是BLOB类型的，因此我需要将它们转换为文本。我使用的是转换函数，所以示例查询应该是这样的：
SELECT
FLOOR((id >> 8) / 1000) AS 'createdAt',
CONVERT( log_1 USING utf8mb4) AS 'log_1',
CONVERT( log_2) AS 'log_2',
m.direction as 'di
浏览 97提问于2019-06-10得票数 0
嗨，我需要一个方法来插入大量的记录到一个MySQL数据库表。
我使用Linq to Entities，而使用foreach循环并插入每条记录的方法太慢了。
例如：
foreach(var item in items){
context.Add(item);
context.SubmitChanges();
}
.net连接器中是否有类似MySql命令的方法: LOAD DATA INFILE？
浏览 0提问于2012-04-13得票数 4
1回答
对于如何将部署在MySQL实例中的MySQL数据库中的EC2数据发送到集群，我感到困惑。
有什么方法可以用来完成这个任务？
浏览 2提问于2017-07-26得票数 0
回答已采纳
我正在使用tmysql散装加载将数据加载到mysql中，我只想知道它是否能够不声不响地拒绝记录？
目前，使用mysql大容量加载特性talend将数据加载到mysql表中。在进程运行时，我没有看到任何错误，它以0的退出代码完成。但它能在处理记录时拒绝它们吗。
浏览 4提问于2015-04-28得票数 0
回答已采纳
2回答
假设我有一张桌子objects
CREATE TABLE objects (
id INT UNSIGNED AUTO_INCREMENT PRIMARY KEY,
name VARCHAR(50),
someinfo VARCHAR(255),
);
和这样的文本文件：
name,someinfo
"firstname","firstinfo"
"secondname","secondinfo"
...
如何在CakePHP中上传这个文本文件来处理数据和创建对象？处理不是问题，我已经解决了。不过，我不知道
浏览 3提问于2013-01-06得票数 0
回答已采纳
我有一个http端点，在请求进入这个端点时，我需要创建一个巨大的数据库(超过百万条记录)转储并生成单个xml文件。我计划写一个组件，它将查询与分页，然后将其写入文件？我是个新手。我可以将数据从组件流式传输到文件连接器中吗？如果是，该怎么做呢？
浏览 2提问于2013-09-24得票数 2
2回答
我有多个客户端插入记录到一个中央mongo数据库中的表(其中有300万条记录)。如果是mysql/oracle，我可以使用sql-loader/存储过程来批量处理插入。有没有通用的方法来优化这样的senario？
浏览 1提问于2014-03-18得票数 0
我需要上传大量的数据到一个MySQL数据库。对于大多数模型，我使用django的ORM，但我的一个模型将有数十亿(!)我想优化它的插入操作。
我似乎找不到一种让executemany()工作的方法，而且在googling上搜索之后，似乎几乎没有任何示例。
我正在寻找正确的sql语法+正确的命令语法+正确的值数据结构来支持以下sql语句的executemany命令：
INSERT INTO `some_table` (`int_column1`, `float_column2`, `string_column3`, `datetime_column4`) VALUES (%d, %f, %s,
浏览 3提问于2010-11-29得票数 6
回答已采纳
1回答
我在azure的Blob存储上存储了一个很大的csv文件。我想尽快将其加载到zure sql数据库中。
我尝试过在DataFactory集成运行时运行SSIS，但速度非常慢，因为它是一个线程/进程。
将azure中的csv数据加载并行到sql数据库的最佳方法是什么？
请注意，如果需要，我可以将csv移动到替代存储，如datalake。
浏览 2提问于2018-12-06得票数 0
我注意到，为了将值存储到会话中，您只需调用req.session.key = value，而无需指定回调。我使用connect-mysql模块将mysql设置为会话存储适配器。所以我想知道，每次我将一个值保存到会话中，它在数据库中被更新时，是否应该有一个与此相关的回调？然而，无论我在哪里看到，人们都在愉快地同步使用它。有人能解释一下为什么会这样吗？谢谢。
浏览 0提问于2012-07-29得票数 1
回答已采纳
1回答
我希望从MySQL数据库更新我的Cassandra数据库。
目前，这个过程大约需要8个小时。我遵循的流程是：
Make all possible queries in MySQL, update the data received into Cassandra
附言:还有什么方法可以更好、更快地做到这一点呢？(我不想使用Hive)
浏览 0提问于2012-07-24得票数 0
回答已采纳
使用将表的全部内容从Server复制到MySQL计算机上的相同表中。MySQL数据库使用MySQL ODBC5.1驱动程序作为链接服务器连接到Management。使用一个简单的语句很好，但是执行非常慢。
INSERT INTO openquery(MYSQL, 'select * from Table1')
SELECT * from MSSQL..Table2
我有一张约有45万张唱片的桌子，转机只需5个多小时。这是正常的吗？我以前没有链接MySQL服务器的经验。
浏览 6提问于2011-04-26得票数 3
(单击链接)
Step1:
数据流将与每个数据最终将被传输到的连接。
然后是转换执行器，它指的是，一个中间转换
Step2:
根据转换文件的变量将数据发送到特定的转换。
Step3:
我得到了包含大约30000行的数据，它需要我将近2.5个小时来完成整个过程。
改变的拷贝数，启动 of 转换执行器步骤在步骤1中，转换执行步骤步骤在步骤2<代码>E 231</code>中，得到更好的执行时间为1.5小时。
为了进一步加快进程，我必须知道，如果转换执行器参照其他转换减慢了整个过程？
期待您的回复，谢谢！
浏览 2提问于2021-06-23得票数 1
1回答
我正在使用tensorflow构建基于CNN的文本分类。有些数据集很大，有些数据集很小。
我使用feed_dict通过从系统内存(而不是GPU内存)中采样数据来为网络提供数据。网络是一批一批地训练的。对于每个数据集，批处理大小是固定的1024。
我的问题是:网络是批量训练的，每批代码都从系统内存中检索数据。因此，无论数据集有多大，代码都应该以相同的方式处理它，对吗？
但是对于大型数据集，我遇到了内存不足的问题，而对于小型数据集，它工作得很好。我非常确定系统内存足以容纳所有数据。所以OOM问题是关于tensorflow的，对吧？
是我写错了代码，还是tensorflow的内存管理问题？
非常感谢
浏览 1提问于2016-06-10得票数 2
在我的Android应用程序中，我使用了谷歌地图，我曾经在地图中使用标记来显示一些位置。但即使没有互联网连接，我也想在地图上显示这些位置。通常，当没有数据连接时，google地图将不会被正确加载，在这种情况下，我如何在地图中显示位置？注意:我在我的地图中使用卫星视图
浏览 1提问于2014-12-01得票数 0
我正在构建一个用于测量NoSQL数据库性能的应用程序，而且我在卡桑德拉数据库中批量插入大量数据时遇到了问题。
当我尝试批量插入1000多条记录时，使用DataStax C#驱动程序，我会得到一个AggregateException。
这是我的数据模型：
public Guid Id { get; set; }
public string Title { get; set; }
public string Description { get; set; }
public int Year { get; set; }
public string Genres
浏览 3提问于2015-10-23得票数 2
回答已采纳
2回答
如果我们有一个大约1000-2000元素的数组，以及一个大约1000-2000的mysql表(可以增加)。我们必须找到表内容是否在数组中。
哪一种更好的方法？
从数组中获取元素并运行简单的mysql查询，如SELECT *...... WHERE..... (运行1-2k sql查询)
获取存储在其他数组中的mysql中的表，并检查它的其他元素。即嵌套for-循环类型。(运行1个sql查询，然后执行1-2k条件检查)
浏览 7提问于2013-09-28得票数 2
我使用的是mongo，并且一次要插入多个查询，所以我使用for循环将其插入到db中。问题是，每个查询都有一个键，所以我检查一个键是否存在，如果不存在，我就把它添加到数据库中，如果存在，我就追加它。如果我有多个查询具有相同的键(因为mongo异步插入)，这两个相同的键可以在db中被标识为“不存在”，因为它们可以并行运行。有什么办法可以解决这个问题吗？
浏览 2提问于2017-05-22得票数 0
我在Tomcat 7.0.5中运行了两个Web项目。第一个项目托管在第二个项目中使用的服务(Web服务)。这两个项目都有独立的数据库，但在相同的Mysql Server实例上。使用的技术有Spring、Hibernate。数据库为Mysql。服务器是Apache Tomcat 7.0.5，最初一切正常。随着更多的记录(1-2LAKH)被添加到数据库中，它开始在线程"ajp-9009-AsyncTimeout“java.lang.OutOfMemoryError中给出OutOfMemoryError异常和异常: Java堆空间错误。我在谷歌上搜索了错误，根据解释的解决方案，我更新了Cat
浏览 2提问于2013-08-20得票数 0
我正在尝试将csv文件记录写入Aurora Mysql RDS。我没有进行任何设置/性能调优。
it is taking 7 minutes to write 500 lines/records
这是正常的还是我需要更改任何设置。我正在使用jooq。
Loader<?> loader = create.loadInto(Tables.DUMMY_PROCESS_LISTING)
.onErrorIgnore()
.loadCSV(new File("/tmp/" + fileName))
.fields(Tables.
浏览 1提问于2017-08-25得票数 1
我的MySQL数据库中有150多万条记录。如果我运行rake任务将数据索引到AWS ElasticSearch中，则需要3天以上才能完成索引。有没有其他方法可以更快地进行索引？
浏览 0提问于2018-04-17得票数 0
我正在尝试写一个php脚本，它将读取一个包含1000个csv文件的目录中的所有列(所有这些文件都有类似的列)，并从csv文件中获取所有数据，然后将其插入到mysql数据库中。在通过在线教程之后，我已经尝试了3种不同的方法来写这篇文章，但是我就是不能让它工作。
我是PHP的新手，所以我不知道发生了什么。有没有一种简单的方法可以遍历包含1000个csv文件的目录，从文件中读取所有数据，然后将数据插入mysql数据库？
浏览 0提问于2015-04-27得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
