是否有可能在Kibana Dev中变异两个字段。工具/控制台，即纬度，使用已从MySQL导入的现有索引和字段，将经度转换为geo_point类型的字段。
我们的想法不是从MySQL重新导入所有数据并通过Logstash。
浏览 1提问于2017-10-12得票数 0
1回答
我有一个客户端Java7应用程序，它必须向数据库中插入大量的小数据(几列)。数据库(Mysql 5.6)位于我的服务器上。客户端Java应用程序在循环中调用存储过程以插入单行。行很简单，看起来像这样：
int | int | varchar | varchar | int | datetime
现在我这样做是这样的(伪代码)：
try(DbConnection conn = new DbConnection()) {
for(RowModel model : rowModel) {
//inserting row here
}
}
catch(SqlException e) {
//proce
浏览 0提问于2016-04-21得票数 0
我正在尝试使用mySql中的dih导入大型数据。下面是batchSize =-1用于mySql的数据源
<dataSource batchSize="-1" driver="com.mysql.jdbc.Driver" ..... />
如果获取所有1000万条记录。但最后说完全进口失败了。我在日志中得到以下异常。：
2017-03-14 07:27:04.429 ERROR (Thread-14) [ x:companyData] o.a.s.h.d.DataImporter Full Import failed:java.lang.Runt
浏览 0提问于2017-03-14得票数 1
回答已采纳
在使用Hibernate插入一些数据时，我得到了BatchUpdateException。当我尝试用sql编辑器插入下面的语句时，它没有抛出任何异常。有什么想法吗？
Caused by: java.sql.BatchUpdateException:
Batch entry 0 insert into registered_user (alias, id, register_time, title, type, uuid) values ('www.google.com', '0010001774', '2013-12-23T14:13:46',
浏览 0提问于2014-01-31得票数 0
我有一个关于将salesforce数据插入mysql数据库的问题。
我可以查询salesforce帐户，并从salesforce帐户中检索正确的数据。
如果我想将salesforce数据插入到mysql数据库中，会出现错误。只将空值插入到数据库中。
我认为mysql组件的输入是正确的，但输出是错误的。
也许你能帮我。
附件是我的xml代码。怎么了？
<?xml version="1.0" encoding="UTF-8"?>
<mule xmlns:json="http://www.mulesoft.org/schema/mule/j
浏览 3提问于2017-04-03得票数 0
是否有一个很好的方法来删除所有内容和网页提交的特定IP地址？我确信这可以用MySQL命令来完成，但我希望有一种比手工操作数据库更安全的方法。
谢谢!
Drupal 7.50公域
浏览 0提问于2017-01-23得票数 3
1回答
我需要从WX2数据库中选择一些数据，并将其放入MYSQL DB中。有人能在这方面帮我吗？mysql数据库要连接到WX2数据库，ODBC.ini配置是否有效？
谢谢
浏览 4提问于2014-09-18得票数 0
我正在开发一个Java / MySQL应用程序，在Ubuntu18.04上测试批处理需要3-4秒。 我昨晚升级到Ubuntu 20.04，并保留了同样的mysql conf文件，现在同样的应用程序需要1分45-47秒！ 6.27user 0.41system 1:45.53elapsed 6%CPU (0avgtext+0avgdata 168724maxresident)k
0inputs+384outputs (0major+42056minor)pagefaults 0swaps 我注意到使用lscpu时，服务器现在平均以min freq运行。我尝试在/etc/default/grub
浏览 21提问于2020-10-22得票数 3
回答已采纳
1回答
批量导出多个mysql数据库
、、、、
我正尝试在我的web服务器上备份我的15个MySQL数据库。这个数据库列表将随着我的不断增长(希望如此！)增加客户群。
显然，我可以使用以下命令进行mysql转储：
mysqldump --add-drop-table -h host -u username -p"password" databasename > filename.sql
我的问题是，有没有办法批量导出MySQL数据库(同样，批量导入)？是否强制我对每个数据库分别进行备份？
实际上，我想编写脚本，这样我每天只需运行一个.bat文件就可以做到这一点。我在网上找到了这个(来自这个网站- )：
@echo of
浏览 3提问于2013-05-12得票数 0
回答已采纳
5回答
我想在我的项目中使用数据库，然后使用这段代码进行测试(来自jdbc )，并将其更改为我的代码和db，然后得到以下错误：
Creating statement...
You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'FROM test SET name=eee WHERE id=1' at line 1
Error: unable to connect to
浏览 8提问于2013-08-10得票数 3
回答已采纳
您好，我正在尝试在MyBATIS中执行更新操作，但是我收到了SQL语法错误异常，我不能理解我哪里做错了有人建议我
Temp.java
public class Temp{
private int id;
private String name;
private List<Sect> sect;
//setters and getters
}
Sect.java
Public class Sect{
private int id;
private int sid;
private String sname;
private String priority;
//setters an
浏览 0提问于2018-02-28得票数 0
我正在尝试从SQL server获取数据并插入到MySQL中。我已经拿到了1lac的记录。记录的获取是正确的，但是在将记录插入到MySQL中的过程中，它不会立即插入数据。我需要刷新MySQL才能看到新记录。
var sql = require('mssql');
var mysql = require("mysql");
var config = {
user : 'sa',
password : '******',
server : 'serverurl'
浏览 1提问于2015-12-01得票数 0
3回答
我得到了相当慢的查询(实际上这是从mysql.dump加载数据)。现在，我想检查一下已经加载了多少行。
select count(*) from my_table;
就数据加载而言，my_table是锁定的，所以在加载转储之前我不能执行这个sql。
Cmd ID State User Host DB Time Query
Query 191 update root localhost rehub 00:09
浏览 1提问于2011-11-23得票数 6
回答已采纳
3回答
我使用的是JPA3、Hibernate 4和MySQL 5。我的测试代码看起来像...
@Repository
public class TestRepositoryImpl implements TestRepository {
@PersistenceContext
private EntityManager em;
@Override
@Transactional
public void insertBulk() {
Item it;
for(int i= 0; i<1000;i++) {
it = new Item();
浏览 0提问于2014-01-22得票数 6
3回答
MySQL慢插入
、、
我有一台MySql 8数据库服务器，在一台像样的spec游戏笔记本电脑上本地运行。当我尝试通过下面的代码在Java中插入存储在内存结构中的一些记录(500k)时，速度非常慢，我们讨论的最多可能是每分钟1000条记录。 我真的不知道在哪里寻找调试信息，或者我应该在这里提供什么指标来帮助回答这篇文章，所以如果你有任何指导或其他信息我可以提供，请一定要让我知道。 我暂时解决了这个问题，方法是将数据保存到内存中的H2数据库中，但实际上，我希望使用MySql工作台将数据持久化并在空闲时进行查询。 PreparedStatement ps = conn.prepareStatement(
浏览 46提问于2020-04-07得票数 0
2回答
嗨，我正在使用java来制作从mysql获取数据的java应用程序，然后将每一行放入JLabel并将其添加到特定的Jpanel中。
我的问题是，当我获取超过4k行时，应用程序需要0.3分钟才能完成上述过程，并且随着行数的增加，时间也会增加。
我计算了mysql的延迟，每60k行的延迟为20.26秒，当我计算应用程序时，对于相同数量的行，几乎是2.5分钟。
所以我的问题是，有什么东西会加速我的应用程序(mysql，java)。
浏览 5提问于2013-12-03得票数 1
回答已采纳
1回答
我是新来Laravel的。在将更新选项动态添加到我的网站时，BLOB图像没有更新。下面是我的函数： public function update_giftcard($id , Request $data){
$gift['name'] = $data->name;
$gift['description'] = $data->description;
$gift['category'] = $data->category;
/*IMG STORAGE*/
if($data->h
浏览 17提问于2020-08-26得票数 0
回答已采纳
3回答
我雇了一个程序员把我的网站--最初是用Django和MySQL实现的--移植到Google App Engine。原始web应用程序的数据库大小约为2 GB，最大的表有500万行。据我所知，为了移植这些内容，程序员正在将数据库序列化为JSON，然后将其上传到Google app engine。
到目前为止，他的上传已经使用了100小时的CPU时间，但看起来只有50或100 MB加载到数据库中。对于如此少量的数据，这是一个合理的CPU时间吗？MySQL可以在几分钟内加载这么多数据，所以我不明白为什么GAE会慢1000倍。他是不是做了什么效率低下的事情？
浏览 0提问于2011-07-15得票数 2
1回答
缓存搜索结果实现
、、
数据库: mysql --表结构是。
------------------------------------------
phone_no (This is PK) | month | year
------------------------------------------
varchar(15) | INT (2) | INT(4)
这有上百万的记录，现在当一个用户在一个月内第一次访问这个网站时，我必须在DB中做一个条目，其他什么都不会发生，这是为了报告目的。我的Java代码是：
The VO ---->
public cl
浏览 1提问于2013-10-07得票数 0
回答已采纳
1回答
数据库更新-长时间运行操作失败
、、、、
我使用hibernate将一个对象放入DB中。DB是MYSQL社区版。整个更新将进入事务处理。
执行此操作的代码如下：
getHibernateTemplate().saveOrUpdate(目)；
当订单很小的时候没有问题，但是当我用将近1000件商品测试这个场景时，我遇到了这个问题：
11-22@12:56:48 DEBUG PersistOrderServiceImpl [flow.ottoImportOrderPlacementInboundFlow.1] - saving order instance::
[Order [orderId=080661, vatOrderNumbe
浏览 0提问于2011-11-23得票数 0
回答已采纳
我需要通过通过mysql客户端/服务器协议对mysql表执行大量的inserts。如何做得更好？是否只有一种方法可以构建查询，就像这样：
insert into my_table (?, ?), VALUES (1,2), (..., ...)....
并发送它或也许mysql客户端/服务器协议支持批量插入？我在mysql文档中找到了，但我不确定它是否是我所需要的。
我在java：上看到了一个例子，里面有一个addBatch方法。这个方法是只构建一个包含多个VALUES子句的insert请求，还是使用mysql协议中的某些内容？
谢谢。
浏览 0提问于2015-06-11得票数 1
我使用的是microsoft visual studio 10 c++和mysql工作台。我有大量的excel文件，我想要将所有excel文件的内容更新到一个mysql表中。我可以为每个excel文件创建一个csv文件，然后导入它，但我希望它是在存储过程的帮助下完成的。我想使用c++.And，此过程必须与不同的excel文件重复。
我在考虑将我的c++程序同时连接到excel和mysql (这可能吗？)读取excel文件并将数据添加到mysql表中。我已经将我的程序连接到mysql数据库。任何其他方法都将不胜感激。
浏览 3提问于2014-07-10得票数 0
我正在考虑用Java语言在app engine或ec2上构建一个Restful应用。我对使用这两个选项的意见/经验很感兴趣。其主要目的是创建web服务，以便通过移动device...basically编写和检索数据，为我想要创建的服务创建一个API。在我看来，在一开始使用restlet或grails.But的谷歌应用程序引擎会更快更便宜，我也认为当我想要更高级的东西时，我可能会在未来遇到问题，可能会受到应用程序引擎环境的限制。
我还希望能够对数据存储中的数据进行数据分析。使用app engine似乎很难做到这一点，因为我不能直接访问数据存储(在亚马逊，如果我使用MySQL，我仍然可以访问底层数
浏览 0提问于2010-04-12得票数 1
1回答
我有一个包含主auto_increment键的mysql表。
我有500个csv文件，每个文件大约有3 3gb的数据，大部分数据在一列中。
目前，我使用以下命令将文件加载到mysql中：
#!/bin/bash
for file in /files/*.csv
do
mysql -e "load data local infile '$f' into table myTable FIELDS TERMINATED BY ','
ENCLOSED BY '\"' escaped by '\"'
浏览 48提问于2017-07-26得票数 1
您好，我正在使用以下脚本将数据从mysql迁移到redshift。
mysql_table_name = 'clabDevelopment.KPI_kpireport'
mysql_cur = mysql_conn.cursor()
mysql_cur.execute('select * from %s where Date = "2018-01-01";' % mysql_table_name )
description = mysql_cur.description
rows = mysql_cur.fetchall()
# Insert
浏览 29提问于2018-06-29得票数 1
4回答
我目前正在尝试使用JDBC将数据从filemaker pro11传输到MySQL。
我已经建立了与每个数据库的连接，并让查询正常工作，并将数据安全地插入到MySQL中。
try {
results =
query.executeQuery("SELECT \"field one\", \"field two\" from table");
Connection con = DriverManager.getConnection("jdbc:mysql://website.com/database","
浏览 2提问于2011-08-17得票数 1
回答已采纳
我正在尝试优化将大量结果插入到远程mySQL数据库的过程。为此，我使用了简单的jdbc。
目前，我正在用PreparedStatement替换现有语句，用addBatch/executeBatch方法替换execute方法。有人知道批处理执行的限制是什么吗？在执行之前需要添加多少批才能确保进程不会失败？这些查询不是特殊查询，它们没有blobs或其他大字段。
浏览 3提问于2010-12-09得票数 7
回答已采纳
我想使用apoc强大过程中的新JDBC过程，但我遇到了很多问题。
首先，解决了我不是java开发人员的问题，然后"com.mysql.jdbc.Driver“在我的计算机上不可用。下载并安装Mysql Connector/J。添加到类路径，重新启动Neo4j，所有这些都很顺利。仍然存在一个错误，因为无法解决类"com.mysql.jdbc.Driver“。我通过将mysql-connector-java-5.1.38-bin.jar复制到$NEO4J_PATH/lib中解决了这个问题，但我认为这不是一个好的做法。
第二-没有在neo4j中解决，我启动了：
CALL apoc.l
浏览 0提问于2016-04-28得票数 0
1回答
我需要在使用Java的数据库上插入信息。它是关于信息检索的，我有一个1400个文档的集合，每个文档包含: ID，标题，作者，区域，摘要。我已经将集合组织成5个独立的字符串数组，去掉了不必要的字符和多个空格。如何将这些数据存储到我的集合数据库中一个名为Documents的表中？我在想像这样的..。
for(int i=0; i<=1400; i++){
user.execute("INSERT INTO Documents (idDoc, title, author, area,abstract)")
VALUES("+ID[i]+",
浏览 1提问于2014-10-20得票数 0
1回答
我需要使用NodeJS将大约250万行从MySQL迁移到Firebase，并寻找有效的方法来做到这一点。
在MySQL数据库中，有些列是BLOB类型的，因此我需要将它们转换为文本。我使用的是转换函数，所以示例查询应该是这样的：
SELECT
FLOOR((id >> 8) / 1000) AS 'createdAt',
CONVERT( log_1 USING utf8mb4) AS 'log_1',
CONVERT( log_2) AS 'log_2',
m.direction as 'di
浏览 97提问于2019-06-10得票数 0
我有一个用mysql编写的小应用程序，我想将其移植到AppEngine，但我就是找不到将php+mysql数据移植到数据存储的方法。
我应该如何将数据保存到我的数据存储中？这有可能吗？我只能看到Java对象持久化的文档，这是否意味着我必须将数据库移植到一堆伪对象，每行一个？
编辑:我说伪对象是因为我不想使用它们，它们只是一种克服GAE设计缺点的方法。
我有一个30兆的表，我需要检查每个GET，通过使用对象，我需要为每一行创建一个对象，所以我有一个可能有45兆的java类，有成千上万行，比如：
行Row23423 =新行(123,346,75,34，“一头牛”)；
我只是不敢相信这是唯一的办法。
浏览 0提问于2009-08-28得票数 4
嗨，我需要一个方法来插入大量的记录到一个MySQL数据库表。
我使用Linq to Entities，而使用foreach循环并插入每条记录的方法太慢了。
例如：
foreach(var item in items){
context.Add(item);
context.SubmitChanges();
}
.net连接器中是否有类似MySql命令的方法: LOAD DATA INFILE？
浏览 0提问于2012-04-13得票数 4
我试图用基于Kafka的汇合式在几个MySQL数据库之间同步数据。我在源连接器配置中使用了"bulk“模式，因为主键类型是varchar，所以不能使用增量模式。很好，但我有两个问题：
它似乎无法同步删除，当数据在源数据库中被删除时，接收器数据库没有发生任何事情。数据仍然存在于接收器数据库中。
同步数据需要相当长的时间。在我的例子中，将表与3~4k行同步大约需要2~4分钟。我可以理解，使用大容量模式可能需要更多时间来同步数据，但这不是太长了吗？
下面是我的源连接器配置：
name=test-source
connector.class=io.confluent.conne
浏览 5提问于2017-09-19得票数 2
回答已采纳
我正在使用tmysql散装加载将数据加载到mysql中，我只想知道它是否能够不声不响地拒绝记录？
目前，使用mysql大容量加载特性talend将数据加载到mysql表中。在进程运行时，我没有看到任何错误，它以0的退出代码完成。但它能在处理记录时拒绝它们吗。
浏览 4提问于2015-04-28得票数 0
回答已采纳
1回答
对于如何将部署在MySQL实例中的MySQL数据库中的EC2数据发送到集群，我感到困惑。
有什么方法可以用来完成这个任务？
浏览 2提问于2017-07-26得票数 0
回答已采纳
2回答
我有多个客户端插入记录到一个中央mongo数据库中的表(其中有300万条记录)。如果是mysql/oracle，我可以使用sql-loader/存储过程来批量处理插入。有没有通用的方法来优化这样的senario？
浏览 1提问于2014-03-18得票数 0
我注意到，为了将值存储到会话中，您只需调用req.session.key = value，而无需指定回调。我使用connect-mysql模块将mysql设置为会话存储适配器。所以我想知道，每次我将一个值保存到会话中，它在数据库中被更新时，是否应该有一个与此相关的回调？然而，无论我在哪里看到，人们都在愉快地同步使用它。有人能解释一下为什么会这样吗？谢谢。
浏览 0提问于2012-07-29得票数 1
回答已采纳
我正在使用MySql处理hibernate，并尝试更新记录，这会给我带来错误。
码
Query query = session.createQuery("update UserDetails set userStatus=:userStatus where id =(select max(id) from UserDetails where department=:department)");
query.setParameter("userStatus", "ACTIVE");
query.setParameter(&
浏览 2提问于2014-12-10得票数 1
1回答
我希望从MySQL数据库更新我的Cassandra数据库。
目前，这个过程大约需要8个小时。我遵循的流程是：
Make all possible queries in MySQL, update the data received into Cassandra
附言:还有什么方法可以更好、更快地做到这一点呢？(我不想使用Hive)
浏览 0提问于2012-07-24得票数 0
回答已采纳
我想要创建一个将数据大容量加载到ES的进程，以便
有两个索引: index_1、index_2和指向index_1或index_2的别名
将数据大容量加载到index_1或index_2
如果所有数据都在未发生故障的情况下加载，则会更改别名。
我正在使用Java客户端API。
我想确定的是，当我向BulkProcessor添加数据时，它已经完成了所有的工作，然后再继续评估是否有任何故障。我跟踪BulkProcessor.Listener.afterBulk中的故障。
在当前的测试实现中，当将所有数据推送到BulkProcessor时，我调用BulkProcessor.flu
浏览 1提问于2018-11-13得票数 0
回答已采纳
我在Tomcat 7.0.5中运行了两个Web项目。第一个项目托管在第二个项目中使用的服务(Web服务)。这两个项目都有独立的数据库，但在相同的Mysql Server实例上。使用的技术有Spring、Hibernate。数据库为Mysql。服务器是Apache Tomcat 7.0.5，最初一切正常。随着更多的记录(1-2LAKH)被添加到数据库中，它开始在线程"ajp-9009-AsyncTimeout“java.lang.OutOfMemoryError中给出OutOfMemoryError异常和异常: Java堆空间错误。我在谷歌上搜索了错误，根据解释的解决方案，我更新了Cat
浏览 2提问于2013-08-20得票数 0
使用将表的全部内容从Server复制到MySQL计算机上的相同表中。MySQL数据库使用MySQL ODBC5.1驱动程序作为链接服务器连接到Management。使用一个简单的语句很好，但是执行非常慢。
INSERT INTO openquery(MYSQL, 'select * from Table1')
SELECT * from MSSQL..Table2
我有一张约有45万张唱片的桌子，转机只需5个多小时。这是正常的吗？我以前没有链接MySQL服务器的经验。
浏览 6提问于2011-04-26得票数 3
1回答
我想通过Jooq实现如下的目标：
INSERT IGNORE INTO table1 (col1,col2,col3)
VALUES ('val1','val2','val3'),('val4','val5','val6');
但是使用一个pojos列表
类似于：
公共列表insertIgnoreMulti(列表记录){ //忽略如果存在返回dsl.batchStore(记录).execute()；}
但我似乎找不到这方面的文件。
谢谢。
我试过Lukas的例子：
public Loade
浏览 2提问于2017-04-12得票数 1
我的MySQL数据库中有150多万条记录。如果我运行rake任务将数据索引到AWS ElasticSearch中，则需要3天以上才能完成索引。有没有其他方法可以更快地进行索引？
浏览 0提问于2018-04-17得票数 0
我正在尝试写一个php脚本，它将读取一个包含1000个csv文件的目录中的所有列(所有这些文件都有类似的列)，并从csv文件中获取所有数据，然后将其插入到mysql数据库中。在通过在线教程之后，我已经尝试了3种不同的方法来写这篇文章，但是我就是不能让它工作。
我是PHP的新手，所以我不知道发生了什么。有没有一种简单的方法可以遍历包含1000个csv文件的目录，从文件中读取所有数据，然后将数据插入mysql数据库？
浏览 0提问于2015-04-27得票数 1
来自MySQL和Kafka主题的事件数据。我们将从MySQL加载历史数据，然后切换到Kafka，以便当前的data.Mysql ID也会流入Kafka。因此，消息包含事件ID。Kafka流事件将使用spark作业进行处理，并最终将数据摄取到报表中。 问题:如何加载历史数据并实时切换到Kafka源。 1-创建临时使用者组以存储所有分区的当前偏移量和当前时间戳TS1。 2-从create date <= TS1所在的MySQL表中获取最小ID和最大ID。并通过500k记录的分区进行处理。 3-完成上述处理后，将时间戳传递到主spark作业，该作业将处理存储的偏移量中的streAming数据
浏览 18提问于2020-01-23得票数 0
2回答
JDBC连接池建议
、、、、
我正在开发一个用于处理数据并将其上传到MySQL数据库的java应用程序。使用这个应用程序，我迭代了一个目录中需要处理的所有文件。对于文件的每一行，我将该行的数据存储到各种变量中，并进行一些转换，以使所有数据都准备好上传到我的数据库中。然后，我计划使用PreparedStatement和INSERT查询将该行的数据上传到数据库。
我不熟悉针对我的情况的最佳实践。我正在自学这个过程中，所以我正在寻找一些指导，以确保我第一次做得正确。
仅仅在应用程序的运行时开始时打开一个连接是不合适的吗？打开一次)？对于每个插入查询，我都会创建并关闭PreparedStatement，但在处理完所有文件之前，我只
浏览 0提问于2012-06-08得票数 1
回答已采纳
1回答
我试图读取超过17000个文件(每个文件包含100到23000行)，并将数据解析到mysql数据库中。问题是这样做太慢了，我不知道瓶颈在哪里。
private void readFile() {
PreparedStatement prepStatement = null;
String queryInsItem = "INSERT IGNORE INTO item VALUES(?)";
String queryInsUser = "INSERT IGNORE INTO user VALUES(?)";
String q
浏览 1提问于2015-03-24得票数 0
回答已采纳
我需要在Vertica表上执行一些select*查询，并将这些查询放入MySQL table.But中，因为迭代，这可能是一个非常快的过程吗?有人能向我解释如何在java中实现hibernate或任何其他快速进程吗？
import java.io.IOException;
import java.sql.*;
public class Main {
public static void main(String args[]) throws SQLException, IOException, ClassNotFoundException {
try {
浏览 1提问于2017-09-27得票数 0
回答已采纳
1回答
我已经建造了一个在窗口上带有UI的Extractor。我有多个页面，所以我选择了批量提取器。我在10+ urls周围输入并单击查询。一切都很好，一切都很美好。
但是，我继续进行导出，并希望开始学习如何将这个大量urls提取器导出到API中。我点击了简单的API，这只显示了第一个大容量url的结果。
如何在同一个API调用中调用多个urls，以便结果都在一个页面中而不是多个api调用中？
我正试图在某个时候通过php将所有这些数据定期地(每天)带到我的MySQL数据库中。
谢谢。
浏览 2提问于2015-09-30得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
