Python Pandas -组合CSV并添加文件名

基础概念

Pandas 是一个强大的 Python 数据分析库，提供了大量的数据结构和数据分析工具。CSV（Comma-Separated Values）是一种常见的数据存储格式，每行代表一条记录，每列代表一个字段。

相关优势

1. 数据整合：Pandas 可以轻松地读取、处理和合并多个 CSV 文件。
2. 高效性能：Pandas 底层使用 NumPy 数组，处理大数据集时性能优越。
3. 丰富的数据操作：提供了丰富的数据操作功能，如过滤、排序、分组、聚合等。

类型

在 Pandas 中，合并 CSV 文件主要有以下几种方式：

1. concat：用于沿指定轴连接 DataFrame 或 Series 对象。
2. merge：用于根据一个或多个键进行合并。
3. join：用于根据索引或键进行合并。

应用场景

当你有多个 CSV 文件，需要将它们合并成一个文件进行分析时，可以使用 Pandas 进行合并操作。例如，多个日志文件、多个数据集的合并等。

示例代码

以下是一个示例代码，展示如何使用 Pandas 合并多个 CSV 文件，并在每行数据中添加文件名作为新列：

import pandas as pd
import os

# 定义文件路径和输出文件路径
input_folder = 'path/to/csv/files'
output_file = 'path/to/output/combined.csv'

# 获取文件夹中的所有 CSV 文件
csv_files = [f for f in os.listdir(input_folder) if f.endswith('.csv')]

# 初始化一个空的 DataFrame
combined_df = pd.DataFrame()

# 遍历每个 CSV 文件
for file in csv_files:
    # 读取 CSV 文件
    df = pd.read_csv(os.path.join(input_folder, file))
    # 添加文件名列
    df['filename'] = file
    # 将当前文件的数据追加到 combined_df
    combined_df = pd.concat([combined_df, df], ignore_index=True)

# 将合并后的数据保存到新的 CSV 文件
combined_df.to_csv(output_file, index=False)

参考链接

• Pandas 官方文档
• Pandas concat 文档
• Pandas merge 文档
• Pandas join 文档

常见问题及解决方法

1. 文件路径错误：确保输入文件夹路径和输出文件路径正确。
2. 文件编码问题：如果 CSV 文件使用不同的编码格式，可以使用 encoding 参数指定正确的编码格式，例如 pd.read_csv(file, encoding='utf-8')。
3. 列名冲突：如果多个 CSV 文件中有相同的列名，可以使用 rename 方法重命名列，避免冲突。

通过以上方法，你可以轻松地合并多个 CSV 文件，并在每行数据中添加文件名作为新列。