mysql 批量插入去重

基础概念

MySQL 批量插入去重是指在向 MySQL 数据库中插入多条记录时，确保这些记录中的某些字段（通常是主键或唯一索引字段）不会重复。这样可以避免因重复数据导致的各种问题，如数据不一致、查询效率低下等。

相关优势

1. 提高数据质量：确保数据的唯一性和准确性。
2. 提升性能：通过减少插入操作中的重复检查，可以提高插入效率。
3. 简化逻辑：在应用层减少去重逻辑，使代码更简洁。

类型

1. 使用 INSERT IGNORE 语句：当插入的数据与表中的某些行冲突时，会忽略这些冲突的行。
2. 使用 ON DUPLICATE KEY UPDATE 语句：当插入的数据与表中的某些行冲突时，会更新这些冲突的行。
3. 先查询再插入：在插入前先查询表中是否已存在相同的数据，如果不存在则插入。

应用场景

1. 用户注册系统：确保每个用户的用户名或邮箱是唯一的。
2. 商品管理系统：确保商品编号或名称的唯一性。
3. 订单管理系统：确保订单号或其他关键信息的唯一性。

示例代码

假设我们有一个用户表 users，其中 email 字段是唯一的。

使用 INSERT IGNORE

INSERT IGNORE INTO users (name, email)
VALUES ('Alice', 'alice@example.com'),
       ('Bob', 'bob@example.com'),
       ('Charlie', 'alice@example.com'); -- 这行会被忽略，因为 email 已经存在

使用 ON DUPLICATE KEY UPDATE

INSERT INTO users (name, email)
VALUES ('Alice', 'alice@example.com'),
       ('Bob', 'bob@example.com'),
       ('Charlie', 'alice@example.com')
ON DUPLICATE KEY UPDATE name = VALUES(name);

在这个例子中，如果 email 已经存在，那么 name 字段会被更新为新的值。

遇到的问题及解决方法

问题：插入速度慢

原因：可能是由于大量的插入操作导致数据库性能下降。

解决方法：

1. 批量插入：将多个插入操作合并为一个批量插入操作。
2. 优化索引：确保表的索引设计合理，避免过多的索引影响插入性能。
3. 使用事务：将多个插入操作放在一个事务中，减少事务开销。

问题：数据重复

原因：可能是由于插入的数据本身就包含重复项，或者插入逻辑没有正确处理去重。

解决方法：

1. 预处理数据：在插入前对数据进行去重处理。
2. 使用 INSERT IGNORE 或 ON DUPLICATE KEY UPDATE：如上所述，利用 SQL 语句的特性进行去重。
3. 检查业务逻辑：确保业务逻辑中没有引入重复数据。

参考链接

• MySQL INSERT IGNORE 语法
• MySQL ON DUPLICATE KEY UPDATE 语法

通过以上方法，可以有效地在 MySQL 中进行批量插入并去重，确保数据的唯一性和准确性。