txt批量导入mysql

基础概念

批量导入文本文件（如 .txt 文件）到 MySQL 数据库是一种常见的数据迁移或数据初始化操作。它通常涉及将大量数据从一个格式（如 CSV 或 TSV）转换为数据库表中的记录。

相关优势

1. 效率提升：批量导入比逐条插入数据要快得多，因为它减少了数据库的 I/O 操作。
2. 数据一致性：通过使用事务，可以确保所有数据要么全部导入成功，要么全部失败，从而保持数据的一致性。
3. 自动化：批量导入可以通过脚本或程序自动化完成，减少人工操作。

类型

1. CSV 导入：最常见的文本格式之一，逗号分隔值。
2. TSV 导入：制表符分隔值，与 CSV 类似但使用制表符作为分隔符。
3. 自定义格式：根据具体需求定制的分隔符和格式。

应用场景

• 数据库初始化：在新数据库中快速填充大量初始数据。
• 数据迁移：将数据从一个系统迁移到另一个系统。
• 数据备份和恢复：将数据库内容导出为文本文件，以便备份或恢复。

常见问题及解决方案

问题：为什么导入速度很慢？

• 原因：可能是由于网络延迟、数据库性能瓶颈、导入脚本效率低等原因造成的。
• 解决方案：
  • 使用批量插入语句（如 LOAD DATA INFILE）而不是逐条插入。
  • 优化数据库配置，如增加缓冲区大小、调整日志设置等。
  • 在网络带宽充足的情况下进行导入操作。

问题：导入过程中出现乱码怎么办？

• 原因：通常是由于文本文件的编码与数据库的编码不匹配导致的。
• 解决方案：
  • 确保文本文件的编码与数据库的编码一致（如 UTF-8）。
  • 在导入前使用文本编辑器或命令行工具（如 iconv）转换文件编码。

问题：导入的数据中有重复记录怎么办？

• 原因：可能是由于源数据中存在重复记录，或者导入脚本没有正确处理唯一性约束。
• 解决方案：
  • 在导入前对源数据进行去重处理。
  • 在数据库表中设置唯一性约束，并处理导入过程中出现的重复键错误。

示例代码

以下是一个使用 Python 和 mysql-connector-python 库批量导入 CSV 文件到 MySQL 数据库的示例代码：

import mysql.connector
import csv

# 连接到 MySQL 数据库
db = mysql.connector.connect(
    host="localhost",
    user="yourusername",
    password="yourpassword",
    database="yourdatabase"
)
cursor = db.cursor()

# 打开 CSV 文件
with open('data.csv', newline='', encoding='utf-8') as csvfile:
    reader = csv.reader(csvfile)
    next(reader)  # 跳过标题行
    for row in reader:
        # 构造插入语句
        sql = "INSERT INTO yourtable (column1, column2, column3) VALUES (%s, %s, %s)"
        cursor.execute(sql, row)

# 提交事务并关闭连接
db.commit()
cursor.close()
db.close()

注意：在实际应用中，请确保替换示例代码中的占位符（如 yourusername、yourpassword、yourdatabase、yourtable、column1 等）为实际的值。

参考链接

• MySQL 官方文档 - LOAD DATA INFILE
• mysql-connector-python 官方文档