mysql 批量插入测试数据

基础概念

MySQL 批量插入是指在一次数据库操作中插入多条记录，而不是逐条插入。这种方式可以显著提高数据插入的效率，特别是在需要插入大量数据时。

优势

1. 提高性能：批量插入减少了与数据库的交互次数，从而减少了网络开销和数据库负载。
2. 减少锁竞争：批量插入可以减少对表的锁定时间，减少锁竞争。
3. 简化代码：通过一次操作插入多条记录，代码更加简洁。

类型

1. 单条 SQL 语句批量插入：
2. 单条 SQL 语句批量插入：
3. 使用 LOAD DATA INFILE：
4. 使用 LOAD DATA INFILE：
5. 使用编程语言的批量插入功能：
   • Python (使用 mysql-connector-python)：
   • Python (使用 mysql-connector-python)：

应用场景

1. 数据迁移：将数据从一个数据库迁移到另一个数据库时，批量插入可以显著提高效率。
2. 数据初始化：在系统初始化时，需要插入大量测试数据。
3. 日志记录：在高并发环境下，批量插入日志数据可以减少对数据库的压力。

常见问题及解决方法

1. 插入速度慢：
   • 原因：可能是由于网络延迟、数据库负载过高或索引过多等原因。
   • 解决方法：
     • 使用批量插入语句。
     • 在插入前禁用索引，插入后再重新启用索引。
     • 优化网络环境。

• 数据插入失败：
  • 原因：可能是由于数据格式不正确、主键冲突或数据库连接问题等。
  • 解决方法：
    • 检查数据格式，确保所有字段都符合要求。
    • 使用 INSERT IGNORE 或 REPLACE INTO 处理主键冲突。
    • 检查数据库连接，确保连接稳定。
• 内存不足：
  • 原因：在处理大量数据时，可能会消耗大量内存。
  • 解决方法：
    • 分批次插入数据，避免一次性加载过多数据到内存中。
    • 增加服务器的内存。

示例代码

以下是一个使用 Python 和 mysql-connector-python 进行批量插入的示例：

import mysql.connector

mydb = mysql.connector.connect(
  host="localhost",
  user="yourusername",
  password="yourpassword",
  database="mydatabase"
)

mycursor = mydb.cursor()

sql = "INSERT INTO table_name (column1, column2, column3) VALUES (%s, %s, %s)"
val = [
  ('value1', 'value2', 'value3'),
  ('value4', 'value5', 'value6'),
  ('value7', 'value8', 'value9')
]

mycursor.executemany(sql, val)
mydb.commit()

print(mycursor.rowcount, "records inserted.")

参考链接

• MySQL 官方文档 - INSERT 语句
• mysql-connector-python 文档

希望这些信息对你有所帮助！如果有更多问题，请随时提问。