1回答
我想修剪MySQL数据库中所有重复的条目，根据$keep是什么，只留下最早或最新的条目。我正在使用以下代码，但速度非常慢：
function pruneDuplicates($keep) {
if($keep == 1)
$order = "ASC";
else if ($keep == 0)
$order = "DESC";
//Go through and find the duplicate hashes. Grab the IDs that correspond to them then delete all but o
浏览 0提问于2012-01-09得票数 0
mysql 数据库中存在重复记录，删除保留其中一条， 百度看了，感觉sql好长好啰嗦，有啥敏捷的方法吗
mysql 数据库中存在重复记录，删除保留其中一条， 百度看了，感觉sql好长好啰嗦，有啥敏捷的方法吗
DELETE
FROM
vitae a
WHERE
(a.peopleId, a.seq) IN (
SELECT
peopleId,
seq
FROM
vitae
GROUP BY
peopleId,
seq
HAVING
count(*) > 1
)
AND rowid NOT IN (
SELECT
min(ro
浏览 200提问于2020-02-28
回答已采纳
1回答
由于我在我的项目中使用的主题数据的性质，在输入集中经常会遇到重复记录(有时它意味着同一输入集中的重复记录，这可以通过预插入筛选轻松处理，但通常输入集可以包含数据库中已经存在的记录的副本)。
MySQL和SQLite INSERT IGNORE特性在处理这方面有很大帮助。
所以我要问的问题是：
当将数据插入到INSERT IGNORE或SQLite数据库时，如何使Slick使用MySQL而不是裸的SQLite？
在不支持INSERT IGNORE功能的MS中使用Slick时，最理想的方法是什么？
浏览 3提问于2013-02-13得票数 9
2回答
我希望从csv文件中的重复记录组中获得一些相当简单的统计数据。(统计数据很简单，但提取它们更具挑战性。) 我希望得到一些帮助，把一些sqlite代码组合在一起，帮助我做到这一点。对我来说，能够解释我正在尝试做的事情的最好方法是通过示例。 示例1 Line | Duplicate Id | Created by | Company Name | Account Owner | Created by Team | Owner Team
1 rbt1546 John Smith SMR Inc. John Smith Inside Sales
浏览 12提问于2020-08-21得票数 0
3回答
我正在为我的网站开发一个统计模块，它将帮助我测量转换率和其他有趣的数据。
我使用的机制是--在统计表中存储数据库条目--每当用户在我的DB中输入特定区域时(我在cookies的帮助下避免重复记录)。
例如，我有以下区域：
网站-一个通用的区域，用来统计唯一的用户，因为我停止信任谷歌分析最近。
类别-自我描述。
自我描述。
产品图像-每当用户看到一个产品和牵头提交表单。
问题是，一个月后，我的统计表中填充了大量的行，而我为解析数据加载而编写的ASP.NET页面非常慢。
我想也许可以编写一个服务来解析数据，但是我无法在不失去灵活性的情况下找到任何方法来做到这一点。
我的问题
浏览 1提问于2009-01-27得票数 2
回答已采纳
我正在将我们的项目数据库从SQL Server转换到MySQL，DB转换已经完成。
我们有如下代码，用于根据哈希码识别重复记录，并将其更新为重复记录。
MySQL ([)中的Rank函数需要基于年龄的排名，它将从1开始，每条记录递增1。但是对于我来说，每个hascode的Rank应该从1开始，并且对于相同的hascode递增1，如果新的hascode到来，Rank应该从1开始。
update table set Duplicate=1
WHERE id IN
( SELECT id FROM (
select RANK() OVER (PARTITION BY Hashcode ORDE
浏览 4提问于2015-07-07得票数 0
我有一个php表单来输入数据到mysql数据库中，我的问题是我如何处理重复的记录，例如，如果一个ID号已经存在，我如何检查是否存在，如果它确实抛出一个错误消息，对于expale说"ID已经在数据库中“，这是一个insert语句的例子，但是我希望它在输入之前检查数据库中的重复记录。
$values = $_POST;
foreach ($values as &$value) {
$value = mysql_real_escape_string($value);
}
$sql1="INSERT INTO loan (loan_id)
VALUES ('$
浏览 1提问于2012-04-15得票数 0
回答已采纳
2回答
如何在MySQL中检查重复记录？
我的任务每时每刻都在运行。
因此，每分钟我都会在MySQL中插入相同的结果。
如何确保只将非一式两份的记录插入数据库并拒绝复制记录。
这是我的代码：
if($trim != $yesterdayresult){
while($user = mysql_fetch_array($checklist)){
$usernumber = $user['msisdn'];
$usertelco = $user['telco'];
浏览 4提问于2011-09-01得票数 0
2回答
是否有办法“卷起”重复的记录，如MySQL中的时间序列数据？目前，我正在应用程序代码中检索全时序列之后进行此操作，但是传输多馀的行似乎很麻烦。下面是一个示例：
原始数据：
date | state
..30 | A
..29 | A
..28 | A
..27 | D
..26 | D
..25 | A
“卷起”连续重复记录的结果集：
date | state
..28 | A
..26 | D
..25 | A
谢谢!
浏览 0提问于2017-05-11得票数 0
回答已采纳
2回答
背景:我正在创建一个网站，在那里我需要显示统计数据。统计数据是用Python计算的，我需要一个地方来存储计算出来的统计数据，这样就可以在网站上阅读和显示。统计数据是通过遍历大约70000个JSON文件来计算的，因此计算是事先完成的。数据不是动态的，所以我所需要做的就是读取数据，因此不需要写入或更改数据。
解决办法：
MySQL方法:我预先将统计数据放在数据库中，并使用PHP连接到MySQL数据库，并使用SELECT语句获取数据并显示出来。
AJAX (JavaScript)方法:我将所需的统计信息放入JSON文件，并将该文件放入我的服务器。我使用AJAX调用获取JSON数据并解析它，并显示来自
浏览 7提问于2015-08-25得票数 1
回答已采纳
我在寻求指导。这就是我要做的。
我正在使用PHP和MySQL创建一个广告/发布脚本。此时，当前程序包含4100万行(7.5 At )。
我正在考虑在两个mysql数据库上存储实时统计数据和其他数据(用户、广告、地点、每日/每月统计数据)。然后每天使用cron三次更新数据(从实时数据库到显示用户统计数据的第二个数据库)。
那么，这是“向上”还是“向下”(好还是坏)？
谢谢，pnm123
浏览 3提问于2010-09-10得票数 0
回答已采纳
如何使用LIKE子句从MySQL结果中删除重复记录？
$lname = $_POST["lname"];
$result = mysql_query("SELECT DISTINCT fname, lname, email FROM users WHERE lname LIKE '$lname%' ORDER BY lname ASC");
但是仍然显示重复的记录？
浏览 0提问于2012-01-10得票数 0
4回答
生成mysql统计信息
、、、
我有一个csv文件，它是每周生成的，并加载到mysql数据库中。我需要做一份报告，其中将包括导入记录的各种统计数据。第一个统计数据是导入了多少条记录。
我使用PHP与数据库进行交互，并将使用php生成一个显示此类统计数据的页面。
但是，csv文件是通过mysql脚本导入的，与任何PHP完全不同。
是否可以计算导入的记录并将数字存储在不同的字段/表中，或者以其他方式存储？
添加一个额外的时间域来计算出添加的字段，因为数据库的结构不能改变，因为某个时间是不可能的。
有没有从mysql脚本导入时可以使用的查询，或者从php中生成/统计导入记录数量的更好方法？
浏览 2提问于2009-07-02得票数 1
我的MySQL表中有一个2000，00行数据的集合。现在我想删除表中的第二个重复记录。(即)不应删除重复值的第一次记录。只删除表中的第二个重复记录。
示例
id | logEntry | logValue
--------------------------------
1 | AA15AA7515 | 11445588
2 | AAFIRNNFIE | 99586454
3 | AA15AA7515 | 14589313
4 | AA9894AF56 | 15985632
5 | AA15AA7515 |
浏览 1提问于2015-06-11得票数 2
回答已采纳
我把我的网站托管在一个与MySQL有问题的服务器上。查看PHPMyAdmin统计选项卡，我看到以下统计数据：
http://www.slagalica.tv/henet.mysql.png统计数据PHPMyAdmin
结果表明，99.68%的连接已被中断。我在谷歌上搜索了一下，但我搞不懂它的真正含义。原因是什么，如何解决呢？
浏览 0提问于2010-05-12得票数 0
回答已采纳
2回答
我想删除MySQL数据库中表的重复记录。
在那个图像id是自动增量，但我想要customer_invoice_id唯一，但要删除重复的记录。例如，我想删除1104记录，但现在我删除1105，这是这个查询的最新记录。
ALTER IGNORE TABLE table ADD UNIQUE KEY idx1(customer_invoice_id);
浏览 4提问于2013-08-16得票数 1
回答已采纳
我有一大堆数据要插入，我决定对mysql使用bulk insert。
插入好友(请求者，好友)值(value1，value2)，(value2，value1)，(value3，value4)，(value4，value3)，...
我想知道以下几点：
1)可以使用ignore吗？例如
将忽略插入好友(请求者，好友)值(value1，value2)，(value2，value1)，(value3，value4)，(value4，value3)，...
如果我有重复的，会发生什么？它会a)不插入所有内容吗？b)在重复记录之前插入记录，在重复记录之后停止处理数据？c)忽略副本，继续其余部分？
2)
浏览 1提问于2009-08-15得票数 15
回答已采纳
我知道性能模式中的统计数据在MySQL重新启动时是不持久的。我想在不重新启动MySQL的情况下刷新所有的统计数据。有什么办法吗？
谢谢。
浏览 8提问于2017-03-13得票数 8
回答已采纳
5回答
我有一个带有重复记录的mySQL数据库，如附件中的图像。
我正在请求一个查询，以删除所有重复的记录，基于日期+时间，为数据库中的所有表(foreachtables)
谢谢
浏览 1提问于2012-02-03得票数 0
回答已采纳
5回答
我希望能够将mySQL数据库表中重复记录的数量限制为2。
(不包括自动递增的id字段)
我的桌子是这样设置的
id city item
---------------------
1 Miami 4
2 Detroit 5
3 Miami 4
4 Miami 18
5 Miami 4
因此，在该表中，只有第5行将被删除。
我该怎么做呢？
浏览 1提问于2012-02-02得票数 0
2回答
我在sql中有包含state、region、state和timestamp列的log_table
服务器。
ID state region district timestamp
-- ----- ------ -------- ---------
1 GJ RE056 DI137 2014-02-05 09:00:00.257
2 CA RE027 DI154 2014-02-04 14:00:00.183
3 GJ
浏览 6提问于2015-02-05得票数 1
除了通常的系统统计数据(i/o、ram使用、cpu、load等)之外，我目前正在收集问题、qps、运行查询和缓冲池命中。
我发现qps非常无用，因为我们的生产服务器正常运行时间非常高，而且它的平均值很高。
我想知道mysql生产服务器的统计数据收集的最佳实践。我应该收集/监视哪些其他统计数据来了解服务器上的负载，并在不增加压力的情况下迅速采取行动？
编辑:
我并不是在寻找第三方解决方案，我已经在使用zabbix (以及创建手写脚本的能力)来收集统计数据/监视mysql集群。在此链接中有一个收集可能的统计数据的列表。当然，这里没有列出一些统计数据，可以通过shell脚本进行收集。真正的问题是，必
浏览 0提问于2012-06-20得票数 7
回答已采纳
与此Find duplicate records in MySQL类似，我希望根据特定列的值提取MySQL数据库中的重复记录。 要取出ID最高的那个，我可以这样做： SELECT MAX(id), name, address, no_purchase, count(id) as cnt FROM list
GROUP BY name, address HAVING cnt > 1 要取出ID最小的那个，我可以这样做： SELECT MIN(id), name, address, no_purchase, count(id) as cnt FROM list
GROUP BY name,
浏览 15提问于2021-09-28得票数 0
回答已采纳
1回答
我正在创建一个web rpg，并希望将用户统计数据保存在MYSQL数据库中。
我已经创建了一个名为users的表。我要把他们的数据放在同一张表里吗？这意味着，users表具有列playername、password、score、number of item a和number of item b。或者我是否应该将统计信息分离到一个自己的表stats中，并将用户id与统计信息关联起来？
编辑：
这是我管理每个用户的统计数据的方式吗？
浏览 0提问于2014-02-01得票数 0
1回答
在1个网站下运行多个(mysql)数据库。每个注册帐户1个数据库。 我正在寻找每个联系人表中的重复记录。 这就是我在1个数据库中查找重复项的方法： SELECT COUNT(contacts.email), contacts.email, contacts.state, contacts.source,
FROM shard_40000006.contacts
LEFT JOIN shard_40000006.optin ON optin.email=contacts.email
GROUP BY contacts.email
HAVING COUNT(contacts.email) &
浏览 32提问于2019-12-20得票数 0
1回答
我有一个mysql表，表示通过一个复杂的同步(来自rest的进程)同步到我的数据库的订单--由于一个错误，我现在有重复的，而且我对mysql不太熟悉，无法正确地修复它--我很想避免"php-way"，因为我可以自己做。
表中的重复记录有一个具有相同顺序id的特定列，另一个列名为"record_state"，它表示记录的状态(1 =最新记录，2=旧记录)，我知道如何用以下语句查找重复记录：
SELECT
orderid,
COUNT(orderid)
FROM
orders
WHERE `time_get` > 1584226800 AND `syste
浏览 3提问于2020-04-24得票数 0
回答已采纳
我花了几天时间寻找解决问题的办法。我有一个无状态的spring引导应用程序。以使用Spring引导的支付(表)应用程序为例。下面是我在创建RESTApi时必须记住的预防和功能。
预防
I不允许管理队列中的请求。创建唯一的密钥不是一个选项。
必需的功能
使用关系数据库管理系统，如MySQL
应用程序必须允许同时插入。(可能有数百个用户同时插入)
不得有重复记录(同一用户不得重复记录)
高性能(低响应时间)
我尝试过其他方法，如多线程或使用同步方法，但这需要大量时间来处理请求。我不能让使用者等待。
基本上，我希望实现一个在编程级别防止并发请求的通用解决方案。
您的答复将不胜感激。
浏览 5提问于2022-04-04得票数 2
1回答
我将mysql模块用于nodejs，并且我的程序正在运行带有集群包的多个工作进程。
每个worker获取一些tweet并将它们存储在数据库中，但每条记录都必须由tweet_id唯一。
现在，我可以看到我的数据库中存在许多重复的记录，即使我在插入之前检查重复记录。
那么，你有没有经历过这种情况？有解决方案吗？
浏览 0提问于2016-10-25得票数 0
3回答
我有12个mysql数据库表，如table1，table2，....table12。每个表有200,000条记录。每条记录包括国家/地区、用户类型、包列。我想要得到上面3列的统计数据。要做到这一点，首先，我创建数组。然后使用数组，我将获得统计数据。
for ($i=1; $i<=12; $i++)
{
$query="SELECT `country`, `usertype`, `package` FROM `table$i`";
$result=mysql_query($query);
while ($row = mysql_fetch_assoc($r
浏览 0提问于2012-11-28得票数 3
回答已采纳
1回答
基于MySQL和PHP的统计
、、、、
我正在努力解决一个问题，我希望你们中的一些人能帮助我。
我得到了一个包含大量操作的表结构。然后，我想要制作一个php脚本来生成一些统计信息。
+---------------+-------------+------+-----+-------------------+----------------+
| Field | Type | Null | Key | Default | Extra |
+---------------+-------------+------+-----+-------------------+-
浏览 2提问于2011-01-24得票数 3
1回答
如何忽略数据网格中的重复记录？我如何检查数据网格中的重复记录……我使用ArrayCollection作为数据网格的数据提供者……
浏览 0提问于2011-05-06得票数 1
1回答
通过计算表行的哈希代码来检查重复记录：
我通过用户界面将excel文件上传到mysql数据库中，在实际插入记录之前，我必须根据主表中已经存在的记录识别重复的记录(记录的数量可以是2500000)，而且我必须尽可能快地这样做。
我的解决方案是在表中再添加一个字段，比如Hashcode，在插入记录时，我将计算每一行的哈希码，在检查重复行时，我将只匹配哈希码field.If，然后记录存在于主表中，否则记录是唯一的。
如果我不知道mysql数据库的功能，有没有其他更快的方法来做到这一点？
谢谢!
浏览 1提问于2014-09-26得票数 2
回答已采纳
我有一个很大的数据集，我想对数据的某些子集进行统计分析。
目前，我认为这是一个两步的过程：
将数据导入MySQL数据库，并使用SELECT、JOIN、WHERE等世界
导出结果数据，然后导入到r中，然后在r中进行统计。
我的问题是:这是一个有效的工作流吗？一个人能在r中完全做到这一点吗？可以在r中模拟MySQL选择语法吗？
浏览 2提问于2014-10-22得票数 2
回答已采纳
1回答
我正在运行BAM API管理器，然后将它的统计信息发布到WSO2。然而，每个用户每次API呼叫的使用量统计数据需要花费很长时间，消耗大量的CPU。我猜想，因为与大多数调用不同，它不是基于日期的数据太大，我想知道是否有办法从其中删除数据，因为我使用MySql作为BAM的DB。我已经找到了几种方法来清除BAM上的Casandra，但是也没有从MySql中清除统计数据。
谢谢
浏览 5提问于2016-05-23得票数 0
回答已采纳
有没有关于如何开始使用带有mysql数据的Google地图人口统计层的资源？我目前正在浏览这个页面：
数据似乎来自尼尔森。如何将来自mysql数据库的数据用于人口统计层？
例如，我有这样的数据：
var demo_data = [['forest', 'ABC Forest', lat , lng],
['mountain', 'Mt. Everest', lat, lng],
['forest', 'DEF Forest',
浏览 0提问于2012-06-07得票数 0
回答已采纳
要在MySQL数据库中查找重复记录。这可以写成：
SELECT address, count(id) as cnt FROM list
GROUP BY address HAVING cnt > 1
这给了我：
101 Saint ST 3
我想拉出它，这样它就可以显示重复的每一行。示例如下：
SIM JANE 101 Saint ST
JOHN SMITH 101 Saint ST
有谁知道怎么做吗？我尽量避免执行第一个查询，然后在代码中使用第二个查询查找重复项。
浏览 8提问于2016-07-26得票数 2
假设我需要在站点上实现一个小部件，它允许用户通过图表查看处理器负载统计数据。将允许用户选择统计数据的详细程度:具有极小的精度、日期、月份和年份的精度。处理器负载的数据每秒钟提供一次。
我应该如何设计保存处理器负载数据的表，以便有效地查询数据库中的统计信息(或者，我应该对每个统计数据使用单独的表)？
目标数据库管理系统是MySQL。
浏览 0提问于2014-09-17得票数 -2
我应该数一下文件中重复记录的总数。
我用过
sort $TEMP_FILE2 | uniq -d
列出所有未计数的重复记录。我的问题是，我不知道用什么脚本来总结或得到这些记录的总数。
这应该是我的输出：
数据总数: xxx
重复数据计数: xxx (文件中的总重复记录)
最终数据计数: xxx
浏览 0提问于2014-03-20得票数 0
我有一个MySQL 5.7数据库。我查看服务器状态中的统计信息，这些统计数据显示数据库中执行的查询/命令/任务的类型。它显示，查询命令"change“到目前为止是最常见的。
📷
在服务器>状态>统计中，“更改db”值意味着什么？我只有一个数据库(系统数据库除外)，为什么查询运行频繁，几乎两次选择？
浏览 0提问于2019-06-08得票数 0
回答已采纳
1回答
我有一个csv文件里面有数据。我想把它导入我的数据库。如果csv文件中有重复数据，我不希望它创建新的重复记录，我想要的是更新它。
，但问题是，它正在创建新的重复记录。
主计长(简称)：
Excel::import(new FruitImport, $request->file('fruits_file'), \Maatwebsite\Excel\Excel::XLSX);
导入文件(缩写)：
class FruitImport implements ToModel, WithUpserts, ... {
public function model(array $r
浏览 6提问于2021-06-02得票数 3
回答已采纳
下面的php代码在数据库中查找重复记录，删除所有相似的记录(但其中一条不是)，以时间顺序重新排序所有数据，最后对所有行(id字段)从1到n逐次重新编号。
问题:当我执行这段代码时，"tmp“中的表名"mytable”发生了变化，所有的东西都停止并出错了。
为什么是这个？我如何解决这个问题？
$creatmp = mysql_query("CREATE TABLE tmp AS SELECT * FROM mytable WHERE 1 GROUP BY name, surname, birthdate");
$cancqsos = mysql_query(
浏览 1提问于2012-11-17得票数 0
1回答
我将大约12个数据库连接到1 db中，在每个数据库中我都有一些重复的记录。
如何删除已加入的数据库中的所有重复记录？
例如，当列"phone“中的数据相同时，我想删除重复记录。
浏览 0提问于2016-05-25得票数 0
2回答
不显示重复记录
、、
我有一个简单的问题:我的数据库中有一列的记录是：
房屋
房屋
宫廷
房屋
条形
宫廷
房屋
我想显示一个没有重复记录的列表，例如：
房屋
宫廷
条形
我使用JS搜索mysql，如果我编写这段代码，向我显示第一个列表：
if (Search.EOF) { Response.Write("") }
else while (!Search.EOF) {
Response.Write(Search("columnname"))
Search.Movenext(
浏览 0提问于2015-01-16得票数 0
回答已采纳
3回答
我正在尝试为一个网络系统开发一个接口。基本上，一个软件将所有的流量数据通过UDP和其他软件收集，并将数据插入mysql (客户端没有mysql服务器，只有有用户界面访问的服务器才有mysql服务器)。大约有50个客户端具有非常高的流量，并且mysql服务器上的插入操作非常快。但是我想知道性能问题，因为我计划使用推送服务器或其他东西实时打印统计数据，而且，这些流量统计数据必须保存很长时间，所以我应该使用哪种数据库引擎？myisamm，innodb，archive？有谁能给我解释一下吗？另外，我也乐于接受建议。
浏览 1提问于2012-01-17得票数 0
有两个服务器(srv1和srv2)。Mysql服务器已经安装在其中的哪个服务器上。Srv1 mysql包含数据库(db1)。Zabbix服务器获得统计抛出配置代理用户参数(https://www.zabbix.com/documentation/2.0/manual/config/items/userparameters)。昨天，我已经从mysql srv1到mysql srv2复制了数据库srv1。我可以将扎比服务器项(https://www.zabbix.com/documentation/2.0/manual/config/items)克隆到srv2，但丢失了所有srv1 db1统计数据
浏览 0提问于2013-06-28得票数 1
我有一个包含人口统计记录列表的数据库表，其中一些参与者可能有多个/重复的记录，例如
注意：
性别：
119 =男性
118 =女性
种族：
255 =白色
253 =亚洲
UrbanRural：
331 =城市
332 =农村
participantid, gender, race, urbanrural, moduletypeid, hibernateid, and more fields
1, 119, 0, 331, 1, 1, .....
1, 119, 255, 0, 2, 2, .....
1, 0, 255, 331, 3, 3, .....
1, 119, 253, 331,
浏览 0提问于2010-08-09得票数 5
1回答
我使用Symfony2作为票据管理器工具。我的客户想要很多关于他们账单的统计数据:他们每月花多少钱；每个供应商；等等。
我的数据库(MySQL)非常庞大，创建“动态”统计数据是非常迫切的。因此，我试图找到一个更好的解决方案来生成统计数据。
我正在考虑两种解决方案：
创建一个专用于统计信息的表
使用SQL视图在PHP脚本之前有第一个数据处理步骤。但是Doctrine2不处理SQL视图..。
你对我的案子有什么建议吗？
谢谢:)
浏览 5提问于2015-02-10得票数 1
我有一个从表中删除重复记录的场景，但我不明白如何做到这一点，因为大数据和与三个表的关系。
candidates_table是包含重复记录的候选表。和字段是
candidate Table :
candidate_id |f_name |l_name| skills
1 Ab c php,MySQL
2 Ab c php,MySQL,java script
3 cd g Java,hibernate,spring
4
浏览 0提问于2016-05-16得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
