在Python中从目录中的多个CSV文件中拉出特定列
在Python中，可以通过以下步骤从目录中的多个CSV文件中提取特定列：
- 导入必要的库：
import os
import pandas as pd- 定义一个函数来读取并提取特定列：
def extract_columns_from_csv(directory, columns_to_extract):
data_frames = []
for filename in os.listdir(directory):
if filename.endswith('.csv'):
file_path = os.path.join(directory, filename)
df = pd.read_csv(file_path, usecols=columns_to_extract)
data_frames.append(df)
combined_df = pd.concat(data_frames)
return combined_df在这个函数中，directory 是包含 CSV 文件的目录路径，columns_to_extract 是要提取的列的列表。
- 调用函数并传入目录路径和要提取的列：
directory_path = '路径/到/目录'
columns = ['列1', '列2', '列3']
result = extract_columns_from_csv(directory_path, columns)此处需要将 '路径/到/目录' 替换为实际的目录路径，并将 ['列1', '列2', '列3'] 替换为要提取的实际列名称列表。
该函数会遍历目录中的每个 CSV 文件，并仅提取指定的列。然后，它会将每个文件的提取结果合并为一个数据帧 (DataFrame)，并返回合并后的数据帧 (DataFrame)。
推荐腾讯云的相关产品：TencentDB for MySQL、COS（对象存储）。
- TencentDB for MySQL：腾讯云提供的关系型数据库服务，可用于存储和管理提取后的数据。它提供高性能、高可靠性、可扩展的 MySQL 数据库实例，并具有自动备份和故障恢复功能。
- COS（对象存储）：腾讯云提供的对象存储服务，可用于存储 CSV 文件和其他文件。它具有高可用性、高可扩展性和数据安全性，并提供简单易用的 API 接口供开发者操作和管理存储的文件。
请注意，以上推荐的腾讯云产品仅供参考，其他云计算品牌商也有类似的产品可供选择。
相关·内容
我在一个目录中有大约200个CSV文件，这些文件包含不同的列，但其中一些文件包含我想要提取的数据。我希望拉出的一列名为"Programme“(行的顺序不同，但名称相同)，另一列包含”will recommend“(不是所有列的措辞都相同，但它们都将包含该措辞)。最后，我想为每个CSV
浏览 22提问于2020-10-07得票数 1
回答已采纳
2回答
我尝试将CSV文件中的数据放入HTML文件中的字符串变量中。HTML和CSV文件在我的计算机上的相同本地目录下。在Java和C++中，我知道可以对文本文件进行读写。那么，当使用JavaScript、PHP、jQuery或其他任何东西时，是否可以将我的HTML文件</e
浏览 22提问于2018-07-23得票数 0
1回答
我正在尝试修改Splunk中csv文件中的特定列。下面的代码不起作用，并生成以下代码。我是python的新手，所以如果这是基本的，我不会感到惊讶。si.splunkHome()只是拉出"Splunk Home“目录，它是在Splunk中定义的。f = open(os.path.join(si.splunkHome(),
浏览 0提问于2014-04-30得票数 0
我希望用Python比较多个CSV文件，并输出一个报告。要比较的CSV文件的数量会有所不同，所以我让它从一个目录中拉出一个列表。每个CSV有两列:第一列是区号和交换，第二列是价格。例如：1201032,0.01191201200,0.0052
1201201,0.03
浏览 3提问于2012-06-26得票数 0
回答已采纳
下面我有一个字符串，它表示从csv文件中拉出的一行。每列用逗号分隔，值用"“括起来。在python中解析出每一列的值的最简单方法是什么？1971","Low Risk","Convenience Stores & Truck Stops","1111111","111
浏览 0提问于2011-07-06得票数 9
回答已采纳
我正在尝试将csv文件导入到pycharm中，但得到了几个错误。我在格式化文件中的数字时遇到了一些困难，所以我想知道这是否会造成问题。我使用：在写字板中打开时，文件的前几行如下所示：
Date;Open;High;Low;Close
浏览 2提问于2020-08-31得票数 0
假设我有.csv文件，如下所示： event,user2,321 此.csv文件位于s3下。运行以下sql以创建外部表(已创建@TEST_STAGE并具有正确的s3路径)： CREATE OR REPLACE EXTERNAL TABLE TEST_CSV_TABLE1( event_id VARCHAR,); 加载相同的文件，如下所示： COPY INTO TEST_<e
浏览 12提问于2019-12-05得票数 1
回答已采纳
我使用python读取.csv文件，然后操作它的Series和DataFrames。无论如何，我正在试图弄清楚如何为从.csv文件读取的DataFrame的一个或多个列的所有单元格实现删除重复项功能，在python脚本中，您可以设置要在DataFrame的列的所有单元格<em
浏览 1提问于2021-04-05得票数 0
1回答
我是Python的初学者。我想将特定文件(使用模式匹配和shutil.copy)从目录和子目录(使用os.walk)复制到一个新目录中。该代码仅适用于一个子目录中的一个文件，而不适用于多个子目录。通过使用模式匹配和shutil.copy，只能将一个子目录中的一个特定<
浏览 12提问于2019-06-18得票数 0
我有一个很大的csv文件，里面有100多个列。目前我能够读取csv文件及其特定行。我的文件在一个far文件中，这是我到目前为止所拥有的代码。import os, sys, csv, zipfile
f = zip_file.ope
浏览 2提问于2014-08-04得票数 0
回答已采纳
1回答
例如，我在本地目录中有500个CSV文件，我想要操作这500个文件中的数据，逐个从每个文件中读取数据并将其写入到新的CSV文件中。我知道在python中有一个参数glob，我们用它来读取多个CSV文件。使用Python脚本可以读取的
浏览 13提问于2017-08-23得票数 1
2回答
我正在使用json2csv.py (使用twarc编译)从JSONL文件中提取额外的字段，并且在提取保存在数组中的一些文本字段时遇到了问题。这就是数组，我希望能够拉出hashtag文本。：
python json2csv.py tweets_may.jsonl -e full_text retweeted_status.extended_tweet.full_text > testfull_text.c
浏览 6提问于2020-06-20得票数 0
，所以我有一些代码，它适用于目录中的一个特定文件.，我想做一个循环，它将执行以下操作，但是对于目录中的每个.csv文件我的代码import os
import'] - plik['Open'])/plik[&#
浏览 3提问于2019-11-30得票数 0
回答已采纳
2回答
我在同一目录中有多个CSV文件，其中包含不同的调查响应数据(不同的问题，不同的问题顺序)。我希望实现的是遍历所有CSV的循环，以找到特定的列标题并将结果存储在pandas数据帧中。到目前为止，我所拥有的： import pandas as pdimport os
imp
浏览 25提问于2020-10-01得票数 1
我正在使用这个python脚本在我的文件夹的子目录中获取具有特定名称的csv文件，并将它们读入dataframe，我一直试图将它们的目录路径作为另一列添加到dataframe中，但是我经常遇到错误。import pandas as pdimport os
path = 'main/
浏览 6提问于2022-10-03得票数 0
回答已采纳
在一个目录中我有多个文件。但是我只想获取几个具有特定模式的csv文件。示例
文件目录： abc.csv，xyz.csv，uvw.csv，sampl.csv，code.py，commands.txt，abc_1.csv，sam.csv，xyz_1.csv，uvw_1.c
浏览 0提问于2018-08-31得票数 0
我在一个特定的目录中有多个csv格式的MS excel文件。我想要更新csv文件所有行中某一特定列的值。awk -F, 'NR>2{$2=300;}1' OFS=, test.csv
但我在排除最后一
浏览 55提问于2019-07-25得票数 1
Python脚本的目的是比较多个CSV文件中的数据，寻找差异。数据是有序的，但文件之间的排序不同。这些文件包含大约70K的线条，重约15 The。这里没什么花哨的或铁杆的。下面是代码的一部分： with open(fpath,"rb") as f:
浏览 5提问于2012-07-19得票数 3
回答已采纳
我在特定的目录中有大量的CSV文件。它们都至少有41列具有匹配的标头，但可以宽到200列。我只需要抓取前40列，并附加它们来创建一个带有头的CSV。我是相对较新的，并试图效仿这个例子，如何使用bash将所有csv文件的前200行保存在目录中？和那个将
浏览 0提问于2021-10-04得票数 0
回答已采纳
我使用Python/Pandas来编辑另一个程序创建的csv文件。 "RGB(0,255,255)“
RGB(0,255,255)
<
浏览 3提问于2022-05-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
