在Python中从多个文件夹中读取多个CSV文件？

在Python中，你可以使用os模块来遍历文件夹，使用pandas库来读取CSV文件。以下是一个示例代码，展示了如何从多个文件夹中读取多个CSV文件：

基础概念

• 文件夹遍历：使用os.walk()函数可以遍历指定目录及其子目录中的所有文件和文件夹。
• CSV文件读取：使用pandas.read_csv()函数可以方便地读取CSV文件内容。

相关优势

• 自动化处理：通过编程方式自动读取多个文件，减少了手动操作的繁琐。
• 统一管理：可以将多个文件的数据整合到一个数据结构中，便于后续分析和处理。

类型与应用场景

• 类型：适用于需要处理大量CSV文件的场景，如数据分析、数据清洗等。
• 应用场景：金融数据分析、市场调研、日志文件处理等。

示例代码

import os
import pandas as pd

def read_csv_from_folders(root_dir):
    all_data = []
    for root, dirs, files in os.walk(root_dir):
        for file in files:
            if file.endswith('.csv'):
                file_path = os.path.join(root, file)
                try:
                    df = pd.read_csv(file_path)
                    all_data.append(df)
                except Exception as e:
                    print(f"Error reading {file_path}: {e}")
    return pd.concat(all_data, ignore_index=True)

# 使用示例
root_directory = 'path/to/your/root/directory'
combined_data = read_csv_from_folders(root_directory)
print(combined_data.head())

可能遇到的问题及解决方法

1. 文件路径错误：
   • 原因：指定的根目录路径不正确或文件不存在。
   • 解决方法：检查并修正根目录路径，确保路径正确且文件存在。

• 编码问题：
  • 原因：CSV文件的编码格式不一致，导致读取时出现乱码。
  • 解决方法：在pd.read_csv()函数中指定正确的编码格式，如encoding='utf-8'或encoding='gbk'。
• 内存不足：
  • 原因：读取大量数据时，可能会占用过多内存。
  • 解决方法：可以分批次读取数据，或者使用更高效的数据处理方法，如Dask库。
• 文件格式不一致：
  • 原因：不同CSV文件的列名或数据格式不一致。
  • 解决方法：在读取时进行预处理，统一列名和数据格式，或者在合并数据前进行检查和调整。

通过上述方法和代码示例，你可以有效地从多个文件夹中读取多个CSV文件，并处理可能遇到的常见问题。