如何从UNION中删除重复项但忽略一列

在SQL查询中，UNION操作符用于合并两个或多个SELECT语句的结果集，并默认去除重复的行。如果你想在合并结果时忽略某一列的重复性，可以使用以下方法：

方法一：使用子查询和DISTINCT

假设你有两个表table1和table2，它们都有一个共同的列id，但你希望在合并结果时忽略name列的重复性。

SELECT id, name, other_columns
FROM (
    SELECT id, name, other_columns FROM table1
    UNION ALL
    SELECT id, name, other_columns FROM table2
) AS combined
GROUP BY id, other_columns;

在这个例子中，UNION ALL用于合并两个表的数据，包括重复的行。然后外层的SELECT语句通过GROUP BY来去除基于id和other_columns的重复行，而name列则不受此限制。

方法二：使用ROW_NUMBER()窗口函数

如果你使用的是支持窗口函数的数据库（如PostgreSQL、SQL Server、Oracle等），可以使用ROW_NUMBER()来标记每一行的唯一性，并在最后的选择中过滤掉重复的行。

WITH combined AS (
    SELECT id, name, other_columns,
           ROW_NUMBER() OVER (PARTITION BY id ORDER BY name) AS rn
    FROM (
        SELECT id, name, other_columns FROM table1
        UNION ALL
        SELECT id, name, other_columns FROM table2
    ) AS subquery
)
SELECT id, name, other_columns
FROM combined
WHERE rn = 1;

在这个例子中，ROW_NUMBER()函数为每个id分区内的行分配一个唯一的序号，基于name列排序。然后在外层查询中，我们只选择每个分区序号为1的行，即每个id对应的第一个name值。

应用场景

这种方法适用于当你需要合并多个数据源，并且在某些情况下希望忽略特定列的重复性时。例如，在合并用户信息表时，可能希望保留每个用户的最新地址信息，而不考虑地址列中的重复值。

注意事项

• 使用GROUP BY时，所有非聚合列都必须包含在GROUP BY子句中。
• 使用ROW_NUMBER()时，需要确保分区键和排序键的选择能够正确反映你的业务逻辑。
• 在实际应用中，可能需要根据具体的数据库系统和版本调整SQL语法。

参考链接：

• MySQL UNION Syntax
• PostgreSQL ROW_NUMBER()
• SQL Server ROW_NUMBER()