csv存入mysql

基础概念

CSV（Comma-Separated Values）是一种常见的数据交换格式，每一行代表一条记录，每个字段由逗号分隔。MySQL是一种关系型数据库管理系统，用于存储和管理数据。

将CSV文件存入MySQL数据库通常涉及以下几个步骤：

1. 读取CSV文件：从文件系统中读取CSV文件内容。
2. 解析CSV数据：将CSV数据解析成结构化的数据格式（如列表或字典）。
3. 连接MySQL数据库：建立与MySQL数据库的连接。
4. 插入数据：将解析后的数据插入到MySQL数据库的相应表中。

相关优势

1. 数据导入效率：CSV文件通常体积较小，且格式简单，适合批量导入数据。
2. 数据兼容性：CSV格式被广泛支持，易于与其他系统进行数据交换。
3. 灵活性：可以根据需要自定义CSV文件的格式，适应不同的数据需求。

类型

• 单表导入：将CSV数据导入到MySQL的单个表中。
• 多表导入：根据CSV数据的字段，将数据导入到多个相关的表中。

应用场景

• 数据迁移：将旧系统的数据迁移到新的MySQL数据库中。
• 批量数据更新：定期从外部系统导入数据，更新数据库中的信息。
• 数据分析：将CSV数据导入MySQL，进行后续的数据分析和处理。

遇到的问题及解决方法

问题1：CSV文件编码问题

原因：CSV文件可能使用了不同的编码格式（如UTF-8、GBK等），导致读取时出现乱码。

解决方法：

import pandas as pd

# 指定编码格式
df = pd.read_csv('file.csv', encoding='utf-8')

问题2：CSV文件字段与数据库表字段不匹配

原因：CSV文件的字段数与数据库表的字段数不一致，或者字段类型不匹配。

解决方法：

import mysql.connector

# 连接数据库
conn = mysql.connector.connect(user='user', password='password', host='host', database='database')
cursor = conn.cursor()

# 插入数据
for row in df.itertuples(index=False):
    placeholders = ', '.join(['%s'] * len(row))
    columns = ', '.join(df.columns)
    sql = "INSERT INTO table_name ({}) VALUES ({})".format(columns, placeholders)
    cursor.execute(sql, row)

conn.commit()
cursor.close()
conn.close()

问题3：CSV文件过大导致内存不足

原因：CSV文件过大，一次性读取所有数据会导致内存不足。

解决方法：

import pandas as pd

# 分块读取CSV文件
chunksize = 1000
for chunk in pd.read_csv('file.csv', chunksize=chunksize):
    # 处理每个chunk
    pass

参考链接

• Pandas官方文档 - 读取CSV文件
• MySQL Connector/Python官方文档

通过以上步骤和方法，可以有效地将CSV文件存入MySQL数据库，并解决常见的相关问题。