pymysql 批量插入

基础概念

pymysql 是一个用于连接 MySQL 数据库的 Python 库。它提供了对 MySQL 数据库的各种操作，包括查询、插入、更新和删除。批量插入是指一次性插入多条记录到数据库中，而不是逐条插入，这样可以显著提高数据插入的效率。

相关优势

1. 效率高：批量插入可以减少与数据库的交互次数，从而提高数据插入的速度。
2. 减少网络开销：每次与数据库的交互都会产生一定的网络开销，批量插入可以显著减少这种开销。
3. 提高数据库性能：批量插入可以减少数据库的 I/O 操作，从而提高数据库的整体性能。

类型

pymysql 支持多种批量插入的方式，主要包括以下几种：

1. 使用 executemany 方法：这是最常用的批量插入方式。
2. 使用 INSERT INTO ... VALUES (...), (...) 语法：可以在一条 SQL 语句中插入多条记录。

应用场景

批量插入适用于需要一次性插入大量数据的场景，例如：

• 数据导入
• 数据迁移
• 批量生成测试数据

示例代码

以下是使用 pymysql 进行批量插入的示例代码：

import pymysql

# 连接数据库
conn = pymysql.connect(host='localhost', user='root', password='password', db='test')
cursor = conn.cursor()

# 准备要插入的数据
data = [
    ('Alice', 25),
    ('Bob', 30),
    ('Charlie', 35)
]

# 使用 executemany 方法进行批量插入
sql = "INSERT INTO users (name, age) VALUES (%s, %s)"
cursor.executemany(sql, data)

# 提交事务
conn.commit()

# 关闭连接
cursor.close()
conn.close()

遇到的问题及解决方法

问题：批量插入时遇到 Data too long for column 错误

原因：插入的数据长度超过了数据库表中定义的列的长度。

解决方法：

1. 检查插入的数据，确保其长度不超过列的定义长度。
2. 修改数据库表的列定义，增加列的长度。

ALTER TABLE users MODIFY COLUMN name VARCHAR(255);

问题：批量插入时遇到 IntegrityError 错误

原因：插入的数据违反了数据库的约束条件，例如主键重复。

解决方法：

1. 检查插入的数据，确保其符合数据库的约束条件。
2. 如果需要插入重复数据，可以考虑修改数据库表的约束条件，例如去掉主键约束。

ALTER TABLE users DROP PRIMARY KEY;

参考链接

• pymysql 官方文档
• MySQL 批量插入文档

通过以上信息，您应该能够全面了解 pymysql 批量插入的基础概念、优势、类型、应用场景以及常见问题的解决方法。