mysql批量导入csv_批量csv导入mysql数据库_从CSV导入SQL批量导入 - 腾讯云开发者社区

mysql批量导入csv

基础概念

MySQL 批量导入 CSV 文件是指将 CSV 格式的数据文件导入到 MySQL 数据库中。CSV（Comma-Separated Values）是一种常见的数据交换格式，每行代表一条记录，字段之间用逗号分隔。

优势

高效性：批量导入可以显著提高数据导入的速度，减少数据库的负担。
灵活性：CSV 文件易于生成和编辑，适用于各种数据源。
兼容性：CSV 格式被广泛支持，可以在不同的系统和工具之间无缝传输数据。

类型

使用 LOAD DATA INFILE 命令：这是 MySQL 提供的原生命令，可以直接从文件系统导入 CSV 文件。
使用 mysqlimport 工具：这是一个命令行工具，专门用于导入数据。
使用编程语言：如 Python、PHP 等，通过编写脚本将 CSV 数据导入 MySQL。

应用场景

数据迁移：将旧系统的数据迁移到新系统。
数据备份和恢复：将数据库中的数据导出为 CSV 文件，以便备份和恢复。
批量数据更新：将大量数据一次性导入数据库，减少对数据库的频繁操作。

常见问题及解决方法

问题1：无法找到文件

原因：文件路径不正确或文件权限不足。

解决方法：

LOAD DATA INFILE '/path/to/your/file.csv'
INTO TABLE your_table
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n';

确保文件路径正确，并且 MySQL 用户有权限访问该文件。

问题2：字段不匹配

原因：CSV 文件中的字段数与数据库表中的字段数不匹配。

解决方法：

LOAD DATA INFILE '/path/to/your/file.csv'
INTO TABLE your_table
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES; -- 忽略 CSV 文件的第一行（通常是标题行）

确保 CSV 文件的字段数与数据库表的字段数一致，或者使用 IGNORE 或 REPLACE 选项处理标题行。

问题3：字符集不匹配

原因：CSV 文件的字符集与数据库的字符集不匹配。

解决方法：

SET NAMES 'utf8mb4';
LOAD DATA INFILE '/path/to/your/file.csv'
INTO TABLE your_table
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n';

确保 CSV 文件和数据库使用相同的字符集，或者在导入前设置正确的字符集。

示例代码

以下是一个使用 Python 脚本批量导入 CSV 文件到 MySQL 的示例：

import mysql.connector
import csv

# 连接到 MySQL 数据库
db = mysql.connector.connect(
    host="localhost",
    user="your_username",
    password="your_password",
    database="your_database"
)

cursor = db.cursor()

# 打开 CSV 文件
with open('file.csv', newline='') as csvfile:
    reader = csv.reader(csvfile)
    next(reader)  # 忽略标题行
    for row in reader:
        # 构建插入语句
        sql = "INSERT INTO your_table (column1, column2, column3) VALUES (%s, %s, %s)"
        cursor.execute(sql, row)

# 提交事务
db.commit()

# 关闭连接
cursor.close()
db.close()