mysql导入文本文件

基础概念

MySQL导入文本文件是指将存储在文本文件（如CSV、TSV等格式）中的数据导入到MySQL数据库中的过程。这通常用于数据迁移、数据备份和恢复等场景。

类型

使用LOAD DATA INFILE命令：这是MySQL提供的一个高效的导入命令。
使用MySQL Workbench：这是一个图形化工具，可以方便地进行数据导入。
使用编程语言：如Python、PHP等，通过编写脚本进行数据导入。

应用场景

数据迁移：将数据从一个数据库迁移到另一个数据库。
数据备份和恢复：将数据库数据导出为文本文件，以便备份或恢复。
批量数据导入：需要一次性导入大量数据时。

遇到的问题及解决方法

问题1：导入失败，提示文件路径错误

原因：指定的文件路径不正确或MySQL服务器无法访问该文件。

解决方法：

确保文件路径正确，并且MySQL服务器有权限访问该文件。
如果文件不在MySQL服务器上，可以使用LOAD DATA LOCAL INFILE命令。

LOAD DATA LOCAL INFILE 'path/to/your/file.csv'
INTO TABLE your_table
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n';

问题2：导入过程中出现乱码

原因：文件编码与MySQL数据库编码不匹配。

解决方法：

确保文件编码与MySQL数据库编码一致，通常使用UTF-8编码。
在导入前，可以使用文本编辑器或命令行工具（如iconv）转换文件编码。

问题3：导入速度慢

原因：数据量大、网络延迟、服务器性能等原因。

解决方法：

使用LOAD DATA INFILE命令，该命令比逐条插入数据快得多。
优化MySQL配置，如增加缓冲区大小、调整线程数等。
如果可能，将文件传输到MySQL服务器本地进行导入。

示例代码

以下是一个使用Python脚本导入CSV文件的示例：

import mysql.connector
import csv

# 连接到MySQL数据库
db = mysql.connector.connect(
    host="localhost",
    user="your_username",
    password="your_password",
    database="your_database"
)

cursor = db.cursor()

# 打开CSV文件
with open('path/to/your/file.csv', 'r') as file:
    csv_reader = csv.reader(file)
    next(csv_reader)  # 跳过表头
    for row in csv_reader:
        cursor.execute("INSERT INTO your_table (column1, column2, column3) VALUES (%s, %s, %s)", row)

# 提交事务
db.commit()

# 关闭连接
cursor.close()
db.close()