我应该数一下文件中重复记录的总数。
我用过
sort $TEMP_FILE2 | uniq -d
列出所有未计数的重复记录。我的问题是，我不知道用什么脚本来总结或得到这些记录的总数。
这应该是我的输出：
数据总数: xxx
重复数据计数: xxx (文件中的总重复记录)
最终数据计数: xxx
浏览 0提问于2014-03-20得票数 0
mysql 数据库中存在重复记录，删除保留其中一条， 百度看了，感觉sql好长好啰嗦，有啥敏捷的方法吗
mysql 数据库中存在重复记录，删除保留其中一条， 百度看了，感觉sql好长好啰嗦，有啥敏捷的方法吗
DELETE
FROM
vitae a
WHERE
(a.peopleId, a.seq) IN (
SELECT
peopleId,
seq
FROM
vitae
GROUP BY
peopleId,
seq
HAVING
count(*) > 1
)
AND rowid NOT IN (
SELECT
min(ro
浏览 200提问于2020-02-28
回答已采纳
如何使用LIKE子句从MySQL结果中删除重复记录？
$lname = $_POST["lname"];
$result = mysql_query("SELECT DISTINCT fname, lname, email FROM users WHERE lname LIKE '$lname%' ORDER BY lname ASC");
但是仍然显示重复的记录？
浏览 0提问于2012-01-10得票数 0
1回答
由于我在我的项目中使用的主题数据的性质，在输入集中经常会遇到重复记录(有时它意味着同一输入集中的重复记录，这可以通过预插入筛选轻松处理，但通常输入集可以包含数据库中已经存在的记录的副本)。
MySQL和SQLite INSERT IGNORE特性在处理这方面有很大帮助。
所以我要问的问题是：
当将数据插入到INSERT IGNORE或SQLite数据库时，如何使Slick使用MySQL而不是裸的SQLite？
在不支持INSERT IGNORE功能的MS中使用Slick时，最理想的方法是什么？
浏览 3提问于2013-02-13得票数 9
我需要删除重复的记录，基于最低amount为同一order number。表有100 K记录，结构是这样的。tmp_id是这个表中的primary key。
------------------------------------
user_id order_number amount tmp_id
-------------------------------------
15 12364 25 1
20 454544 75 2
4 12364 100 3
6
浏览 3提问于2015-06-26得票数 1
回答已采纳
我正在将我们的项目数据库从SQL Server转换到MySQL，DB转换已经完成。
我们有如下代码，用于根据哈希码识别重复记录，并将其更新为重复记录。
MySQL ([)中的Rank函数需要基于年龄的排名，它将从1开始，每条记录递增1。但是对于我来说，每个hascode的Rank应该从1开始，并且对于相同的hascode递增1，如果新的hascode到来，Rank应该从1开始。
update table set Duplicate=1
WHERE id IN
( SELECT id FROM (
select RANK() OVER (PARTITION BY Hashcode ORDE
浏览 4提问于2015-07-07得票数 0
3回答
我使用Laravel进行了MySQL查询，并将其转换为PHP。
行的值类似于以下内容：
name | override | percentage
Eclipse | 1 | 50%
Eclipse | 0 | 75%
MySQL查询
select * from table
两行(实际上不止2行)都有相同的名称，但其中一行的覆盖设置为0，另一行的名称设置为1。
如何处理查询结果(PHP数组)中的所有重复记录(由名称决定)并将覆盖设置为0？我只想要被新记录覆盖的记录，但是我需要一种方法来删除覆盖= 0的记录，因为这些记录是相同的，但是有一个不同的百分比值。
这是如何做到的呢？
谢谢。
浏览 2提问于2014-08-28得票数 0
回答已采纳
1回答
我的守则：
$con = new PDO("mysql:host=localhost;dbname=mis","root","");
$name = $_POST['name'];
$transaction_status = $_POST['transaction_status'];
$client_id = $_POST['client_id'];
$group_id = $_POST['group_id'];
$statement = $con->prepare(
浏览 0提问于2018-04-02得票数 0
2回答
如何在MySQL中检查重复记录？
我的任务每时每刻都在运行。
因此，每分钟我都会在MySQL中插入相同的结果。
如何确保只将非一式两份的记录插入数据库并拒绝复制记录。
这是我的代码：
if($trim != $yesterdayresult){
while($user = mysql_fetch_array($checklist)){
$usernumber = $user['msisdn'];
$usertelco = $user['telco'];
浏览 4提问于2011-09-01得票数 0
1回答
我需要删除mysql表中的重复记录。所以我有一个表名"employee“字段是empid、empname、empssn。
为了获得重复记录，我编写了一个查询
SELECT COUNT(empssn), empssn FROM employee
GROUP BY empssn
HAVING COUNT(empssn) > 1
现在我要删除重复的记录。为此，我已经写好了查询。
DELETE FROM employee
WHERE (empid, empssn) NOT IN (
SELECT MIN(empid), empssn FROM employee
G
浏览 1提问于2010-07-17得票数 6
我有以下代码：
$link=mysql_connect("localhost", "user", "password") or die(mysql_error());
mysql_select_db(raddacen_staff,$link) or die(mysql_error());
$query=mysql_query("INSERT IGNORE INTO database...............") or die(mysql_error());
if(mysql_affected_rows()>0){
e
浏览 2提问于2013-04-01得票数 1
回答已采纳
1回答
我正在从多个表中获取一些记录。使用Hibernate join fetch查询。但我得到了重复的记录。如果我指定setMaxResults参数而不做任何修改，查询就能正常工作。我不知道查询出了什么问题。
表结构是products to Quantity (一对多)、products to category(多对一)和products to brand(多对一)
我的查询如下所示：
from ProductVO p
join fetch p.productsWithQuantity pq
join fetch pq.store
join fetch p.category cat
joi
浏览 2提问于2014-06-17得票数 0
1回答
我有一个MySQL插入查询，它将一个产品添加到多个类别：
INSERT INTO _categories_products (product_id, category_id) VALUES (1, 14), (1, 8), (1, 1), (1, 22);
但是，如果我将同一产品添加到来自同一父类的另一个子类别中，则会为父类别创建重复的记录：
INSERT INTO _categories_products (product_id, category_id) VALUES (1, 14), (1, 8), (1, 1), (1, 23);
问:忽略重复记录插入的适当MySQL查询是什
浏览 3提问于2020-02-03得票数 0
回答已采纳
2回答
我想删除MySQL数据库中表的重复记录。
在那个图像id是自动增量，但我想要customer_invoice_id唯一，但要删除重复的记录。例如，我想删除1104记录，但现在我删除1105，这是这个查询的最新记录。
ALTER IGNORE TABLE table ADD UNIQUE KEY idx1(customer_invoice_id);
浏览 4提问于2013-08-16得票数 1
回答已采纳
我的MySQL表中有一个2000，00行数据的集合。现在我想删除表中的第二个重复记录。(即)不应删除重复值的第一次记录。只删除表中的第二个重复记录。
示例
id | logEntry | logValue
--------------------------------
1 | AA15AA7515 | 11445588
2 | AAFIRNNFIE | 99586454
3 | AA15AA7515 | 14589313
4 | AA9894AF56 | 15985632
5 | AA15AA7515 |
浏览 1提问于2015-06-11得票数 2
回答已采纳
5回答
我希望能够将mySQL数据库表中重复记录的数量限制为2。
(不包括自动递增的id字段)
我的桌子是这样设置的
id city item
---------------------
1 Miami 4
2 Detroit 5
3 Miami 4
4 Miami 18
5 Miami 4
因此，在该表中，只有第5行将被删除。
我该怎么做呢？
浏览 1提问于2012-02-02得票数 0
我有一个php表单来输入数据到mysql数据库中，我的问题是我如何处理重复的记录，例如，如果一个ID号已经存在，我如何检查是否存在，如果它确实抛出一个错误消息，对于expale说"ID已经在数据库中“，这是一个insert语句的例子，但是我希望它在输入之前检查数据库中的重复记录。
$values = $_POST;
foreach ($values as &$value) {
$value = mysql_real_escape_string($value);
}
$sql1="INSERT INTO loan (loan_id)
VALUES ('$
浏览 1提问于2012-04-15得票数 0
回答已采纳
1回答
我想修剪MySQL数据库中所有重复的条目，根据$keep是什么，只留下最早或最新的条目。我正在使用以下代码，但速度非常慢：
function pruneDuplicates($keep) {
if($keep == 1)
$order = "ASC";
else if ($keep == 0)
$order = "DESC";
//Go through and find the duplicate hashes. Grab the IDs that correspond to them then delete all but o
浏览 0提问于2012-01-09得票数 0
我有一大堆数据要插入，我决定对mysql使用bulk insert。
插入好友(请求者，好友)值(value1，value2)，(value2，value1)，(value3，value4)，(value4，value3)，...
我想知道以下几点：
1)可以使用ignore吗？例如
将忽略插入好友(请求者，好友)值(value1，value2)，(value2，value1)，(value3，value4)，(value4，value3)，...
如果我有重复的，会发生什么？它会a)不插入所有内容吗？b)在重复记录之前插入记录，在重复记录之后停止处理数据？c)忽略副本，继续其余部分？
2)
浏览 1提问于2009-08-15得票数 15
回答已采纳
与此Find duplicate records in MySQL类似，我希望根据特定列的值提取MySQL数据库中的重复记录。 要取出ID最高的那个，我可以这样做： SELECT MAX(id), name, address, no_purchase, count(id) as cnt FROM list
GROUP BY name, address HAVING cnt > 1 要取出ID最小的那个，我可以这样做： SELECT MIN(id), name, address, no_purchase, count(id) as cnt FROM list
GROUP BY name,
浏览 15提问于2021-09-28得票数 0
回答已采纳
2回答
是否有办法“卷起”重复的记录，如MySQL中的时间序列数据？目前，我正在应用程序代码中检索全时序列之后进行此操作，但是传输多馀的行似乎很麻烦。下面是一个示例：
原始数据：
date | state
..30 | A
..29 | A
..28 | A
..27 | D
..26 | D
..25 | A
“卷起”连续重复记录的结果集：
date | state
..28 | A
..26 | D
..25 | A
谢谢!
浏览 0提问于2017-05-11得票数 0
回答已采纳
1回答
我有一个mysql表，表示通过一个复杂的同步(来自rest的进程)同步到我的数据库的订单--由于一个错误，我现在有重复的，而且我对mysql不太熟悉，无法正确地修复它--我很想避免"php-way"，因为我可以自己做。
表中的重复记录有一个具有相同顺序id的特定列，另一个列名为"record_state"，它表示记录的状态(1 =最新记录，2=旧记录)，我知道如何用以下语句查找重复记录：
SELECT
orderid,
COUNT(orderid)
FROM
orders
WHERE `time_get` > 1584226800 AND `syste
浏览 3提问于2020-04-24得票数 0
回答已采纳
5回答
我正在尝试打印表的重复记录，但在mysql中只有一行获得了echoed.However，这个查询结果是所有重复记录。下面是查询：
$q = mysql_query("SELECT * FROM add WHERE cust_id = '144' GROUP BY cust_id");
$r = mysql_fetch_array($q);
$s = mysql_num_rows($q);
while($s !=0)
{
echo $r;
$s=$s-1;
}
代码有什么问题？
浏览 0提问于2011-07-11得票数 0
回答已采纳
我花了几天时间寻找解决问题的办法。我有一个无状态的spring引导应用程序。以使用Spring引导的支付(表)应用程序为例。下面是我在创建RESTApi时必须记住的预防和功能。
预防
I不允许管理队列中的请求。创建唯一的密钥不是一个选项。
必需的功能
使用关系数据库管理系统，如MySQL
应用程序必须允许同时插入。(可能有数百个用户同时插入)
不得有重复记录(同一用户不得重复记录)
高性能(低响应时间)
我尝试过其他方法，如多线程或使用同步方法，但这需要大量时间来处理请求。我不能让使用者等待。
基本上，我希望实现一个在编程级别防止并发请求的通用解决方案。
您的答复将不胜感激。
浏览 5提问于2022-04-04得票数 2
25回答
我想取出MySQL数据库中的重复记录。这可以通过以下方式完成：
SELECT address, count(id) as cnt FROM list
GROUP BY address HAVING cnt > 1
这会导致：
100 MAIN ST 2
我想拉出它，这样它就会显示每一行都是重复的。类似于：
JIM JONES 100 MAIN ST
JOHN SMITH 100 MAIN ST
对如何做到这一点有什么想法吗？我尽量避免执行第一个查询，然后在代码中使用第二个查询查找重复项。
浏览 4提问于2009-05-13得票数 695
回答已采纳
我有一个从表中删除重复记录的场景，但我不明白如何做到这一点，因为大数据和与三个表的关系。
candidates_table是包含重复记录的候选表。和字段是
candidate Table :
candidate_id |f_name |l_name| skills
1 Ab c php,MySQL
2 Ab c php,MySQL,java script
3 cd g Java,hibernate,spring
4
浏览 0提问于2016-05-16得票数 1
1回答
在我们遗留DWH过程中，我们根据传统RDBMS中的rowid查找重复记录并跟踪重复记录。
对于ex。
select pkey_columns, max(rowdid) from table group by pkey_columns
将仅返回对应最大记录的重复记录。即使当我们识别重复记录时，这也有助于识别/跟踪记录。
在pySpark中有没有类似的东西？如何在dwh到pyspark dwh转换项目中处理此问题？
浏览 11提问于2019-11-10得票数 0
回答已采纳
下面的php代码在数据库中查找重复记录，删除所有相似的记录(但其中一条不是)，以时间顺序重新排序所有数据，最后对所有行(id字段)从1到n逐次重新编号。
问题:当我执行这段代码时，"tmp“中的表名"mytable”发生了变化，所有的东西都停止并出错了。
为什么是这个？我如何解决这个问题？
$creatmp = mysql_query("CREATE TABLE tmp AS SELECT * FROM mytable WHERE 1 GROUP BY name, surname, birthdate");
$cancqsos = mysql_query(
浏览 1提问于2012-11-17得票数 0
1回答
我将mysql模块用于nodejs，并且我的程序正在运行带有集群包的多个工作进程。
每个worker获取一些tweet并将它们存储在数据库中，但每条记录都必须由tweet_id唯一。
现在，我可以看到我的数据库中存在许多重复的记录，即使我在插入之前检查重复记录。
那么，你有没有经历过这种情况？有解决方案吗？
浏览 0提问于2016-10-25得票数 0
我有一个包含7个字段的表"Product“
1 Prod_id (PK)
2 Company_id
3 Name
3 Code
5 Start Date
6 End Date
7 Entry Date
8 Description
我想删除所有的重复记录(匹配的2个t0 6字段的复制)，并只保留一个有最新的输入日期。
mysql中是否有执行此任务的查询。或者我如何使用php来完成这个任务。
浏览 1提问于2013-10-25得票数 0
2回答
我在sql中有包含state、region、state和timestamp列的log_table
服务器。
ID state region district timestamp
-- ----- ------ -------- ---------
1 GJ RE056 DI137 2014-02-05 09:00:00.257
2 CA RE027 DI154 2014-02-04 14:00:00.183
3 GJ
浏览 6提问于2015-02-05得票数 1
我目前正在开发一个购物车。我想防止它在购物车上有重复的项目。例如:如果我点击"panda"，购物车中的数量将是1。如果我再次点击"panda“，数量将变为2，而不是购物车中有2个"panda”商品。有没有人能给我带路？我是PHP新手，您的帮助将不胜感激。谢谢
以下是我的代码。
details.php
if ((isset($_POST["MM_insert"])) && ($_POST["MM_insert"] == "form1")) {
$status = $this->check
浏览 1提问于2014-01-03得票数 1
我有张桌子：
PRICE_UPDATE
id (int 5, auto-increment, primary, unique)
part_number (varchar 10, non-null)
price (float(10,2), non-null)
一些part_number是重复的(一个或多个重复记录)。有时以相同的价格，有时以不同的价格。
如何根据part_number删除所有重复行，如果价格相同，则只留下最高价格或仅1条记录？
这在直MySQL中甚至可以实现吗？
浏览 2提问于2012-01-18得票数 6
要在MySQL数据库中查找重复记录。这可以写成：
SELECT address, count(id) as cnt FROM list
GROUP BY address HAVING cnt > 1
这给了我：
101 Saint ST 3
我想拉出它，这样它就可以显示重复的每一行。示例如下：
SIM JANE 101 Saint ST
JOHN SMITH 101 Saint ST
有谁知道怎么做吗？我尽量避免执行第一个查询，然后在代码中使用第二个查询查找重复项。
浏览 8提问于2016-07-26得票数 2
1回答
通过计算表行的哈希代码来检查重复记录：
我通过用户界面将excel文件上传到mysql数据库中，在实际插入记录之前，我必须根据主表中已经存在的记录识别重复的记录(记录的数量可以是2500000)，而且我必须尽可能快地这样做。
我的解决方案是在表中再添加一个字段，比如Hashcode，在插入记录时，我将计算每一行的哈希码，在检查重复行时，我将只匹配哈希码field.If，然后记录存在于主表中，否则记录是唯一的。
如果我不知道mysql数据库的功能，有没有其他更快的方法来做到这一点？
谢谢!
浏览 1提问于2014-09-26得票数 2
回答已采纳
1回答
我试过这段代码，但我不知道该如何做：
SELECT DISTINCT *
FROM `empleado-belgrano`
GROUP BY `nombre-belgrano`
HAVING COUNT(`nombre-belgrano`) AS `REPET` > 1
UNION
DELETE FROM `empleado-belgrano`
WHERE `REPET` > 1
我知道这个错误：
#1064 - You have an error in your SQL syntax;
check the manual that corresponds to
浏览 4提问于2022-10-15得票数 -5
5回答
我有一个带有重复记录的mySQL数据库，如附件中的图像。
我正在请求一个查询，以删除所有重复的记录，基于日期+时间，为数据库中的所有表(foreachtables)
谢谢
浏览 1提问于2012-02-03得票数 0
回答已采纳
有没有人有一个优雅的sql语句来删除表中的重复记录，但前提是重复记录的数量超过x？所以它最多允许2到3个副本，但仅此而已？
目前，我有一个select语句，它执行以下操作：
delete table
from table t
left outer join (
select max(id) as rowid, dupcol1, dupcol2
from table
group by dupcol1, dupcol2
) as keeprows on t.id=keeprows.rowid
where keeprows.rowid is null
这很好用。但现在我想要做的是，如果这些行有
浏览 2提问于2009-07-24得票数 6
回答已采纳
3回答
假设我们有一个名为record的表，它包含4个字段
id (INT 11 AUTO_INC)
email (VAR 50)
timestamp (INT 11)
status (INT 1)
表中包含以下数据
现在我们可以看到电子邮件地址test@xample.com被复制了4次(具有最低时间戳的记录是原始的，之后的所有副本都是副本)。我可以轻松地计算唯一记录的数量。
SELECT COUNT(DISTINCT email) FROM record
我还可以很容易地找到哪个电子邮件地址被复制了多少次使用
SELECT email, count(id) FROM recor
浏览 4提问于2013-07-19得票数 2
回答已采纳
2回答
我在teradata中有一个集合表，当我通过informatica加载重复记录时，会话失败，因为它试图推送集合表中的重复记录。
我希望无论何时加载重复记录，informatica都会使用TPT或关系连接拒绝它们
是否有人可以帮助我设置需要设置的属性
浏览 0提问于2014-04-24得票数 0
在mysql中，我得到了美国countryCode的复制记录。我使用SELECT DISTINCT，根据所附的图像。我不知道为什么？我有英国的重复记录，但这些没有出现，这正是我所期望的。
我的问题是为什么它会出现在美国？美国的两项记录是第一项和最后一项。表中的第一行是阿拉巴马州。不确定这是否有什么关系。
谢谢你提前帮忙。
浏览 4提问于2019-11-29得票数 0
回答已采纳
2回答
不显示重复记录
、、
我有一个简单的问题:我的数据库中有一列的记录是：
房屋
房屋
宫廷
房屋
条形
宫廷
房屋
我想显示一个没有重复记录的列表，例如：
房屋
宫廷
条形
我使用JS搜索mysql，如果我编写这段代码，向我显示第一个列表：
if (Search.EOF) { Response.Write("") }
else while (!Search.EOF) {
Response.Write(Search("columnname"))
Search.Movenext(
浏览 0提问于2015-01-16得票数 0
回答已采纳
后端DB使用mysql。查询数据库中的所有记录，如：
ob = Shop.objects.all()
这里查询所有记录，因为需要所有n个列值。那就来问这个问题。
希望根据某一列获取所有非重复记录。尝试用Python集函数。但它删除了完全相同的记录。我有记录，它们在特定的列值中具有相同的值，但在其他列中却没有相同的值。
有人能在Django ORM的帮助下分享一些想法吗！
浏览 1提问于2016-04-19得票数 2
回答已采纳
我需要计算A栏中有重复记录的行数，B栏必须是1行，也必须重复。
SELECT COUNT(*) as num
FROM myTable
WHERE (columnB = 1 GROUP BY columnB HAVING COUNT(id_myTable) > 1) AND (columnA IN (SELECT columnA FROM myTable GROUP BY columnA HAVING COUNT(id_myTable) > 1))
ORDER BY columnC ASC`
假设在myTable中有一个名为MySQL的表：
/-------------------
浏览 2提问于2017-10-21得票数 1
回答已采纳
我在MongoDB中有一个收藏，其中大约有(大约200k条记录)。我的样本记录应该是这样的， {
name:String,
slug:String,
metaDes:String,
content:String,
parentID:String,
thumbnail:String,
display:Boolean,
} 我在集合中有许多具有相同slug的重复记录 我想删除基于slug的重复记录，有没有用mongoose(Nodejs)快速删除重复记录的方法？谢谢!
浏览 37提问于2020-04-12得票数 1
回答已采纳
1回答
我试着尝试一个机会是否会赢或输在蓝色机器学习工作室。然而，目前还处于数据准备的方法中。
在我的数据库中有机会表和产品表。
例如，一个机会有多个产品。我应该处理许多产品并把它们放在一张唱片里吗？
如果我们有一个像(a)这样的机会的重复记录，或者最好每个机会有一个记录，以便将它提供给ML工作室，它会影响预测吗？如有，则采用(b)或(c)较佳的方法。
方法a
📷
方法b
📷
方法c
oppid |first product |first technology|2nd product |2nd technology
1 out-services active directory TR
浏览 0提问于2017-05-14得票数 0
回答已采纳
1回答
如何忽略数据网格中的重复记录？我如何检查数据网格中的重复记录……我使用ArrayCollection作为数据网格的数据提供者……
浏览 0提问于2011-05-06得票数 1
1回答
我需要在同一个表上执行多个连接。下面是我的问题。当我执行以下查询时，它为我提供了单个列的重复记录。有人能告诉我我哪里错了吗？
$result=mysql_query("SELECT DISTINCT *,CONCAT(phno, ' ', vnumber) AS source,CONCAT(phno, ' ', vnumber) AS destination FROM gcm_users as gu
INNER JOIN message_Log as ml1
浏览 1提问于2014-03-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
