批量导入多个 .csv
文件通常是指在一个操作中将多个 CSV 文件的数据导入到一个数据库表或数据存储系统中。这种操作可以显著提高数据导入的效率,尤其是在处理大量数据时。
mysqlimport
、psql
等。以下是一个使用 Python 批量导入多个 CSV 文件到 MySQL 数据库的示例:
import mysql.connector
import os
# 数据库连接配置
config = {
'user': 'your_username',
'password': 'your_password',
'host': 'your_host',
'database': 'your_database'
}
# CSV 文件目录
csv_directory = '/path/to/csv/files'
# 连接到数据库
cnx = mysql.connector.connect(**config)
cursor = cnx.cursor()
# 遍历目录中的所有 CSV 文件
for filename in os.listdir(csv_directory):
if filename.endswith('.csv'):
file_path = os.path.join(csv_directory, filename)
table_name = filename.replace('.csv', '')
# 构建 SQL 语句
sql = f"LOAD DATA INFILE '{file_path}' INTO TABLE {table_name} FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'"
# 执行 SQL 语句
cursor.execute(sql)
# 提交事务并关闭连接
cnx.commit()
cursor.close()
cnx.close()
LOAD DATA INFILE
操作。通过以上方法,你可以高效地批量导入多个 .csv
文件到数据库中。
领取专属 10元无门槛券
手把手带您无忧上云