我有一些文本文件中的数据，我正在将它们读入Pandas。idx_level1 & idx_level2值创建一个独立的panadas DataFrames。因此，在上面的示例中，将有3个DataFrames分别与353386066294006|1142、353386066736543|22和353386066736543|403的idx_level1|idx_level2有没有可能像这样读入一个文本文件，并将idx_level2中</e
浏览 22提问于2018-12-18得票数 2
回答已采纳
我正在读取多个CSV文件并重新格式化它们。我已经开发了这个读取单个文件的代码。然而，我想知道我是否可以循环这个过程，将多个文件读取到单独的数据帧中，然后对这些数据帧进行格式化和重写csv文件。import pandas as pd
input_file = 'filename.txt'
unformatted = 'C:/Users/......
浏览 11提问于2021-05-20得票数 0
我正在尝试将几个文件从csv导入到单个DataFrame中，并在尝试添加第三个DataFrame时得到以下错误。project = pandas.read_csv(read_csv('dbo_ProjectEnergy.csv') how='
浏览 9提问于2013-08-11得票数 1
回答已采纳
我将处理非常大的数据文件(许多of )。我将不得不读取这些文件并写入这些文件。因此，我将不能依赖RAM来存储数据，而需要从磁盘读取和写入文件。我熟悉pandas库提供的read_csv和to_csv选项。但是，我不确定read csv函数是读取文件，然后将其存储在内存中，还是直接从磁盘读取文件。使用pandas从磁盘读取和写入文件的最佳方式是什么？
浏览 0提问于2017-09-16得票数 0
2回答
列表中数据的小写列名称
、、、
我有多个csv，所以我使用了glob和read_csv，将每个csv追加到一个列表中，然后将它们连接起来。 allfiles = glob.glob("*.csv", ) for file in allfiles :
dataframes.append(pd.read_csv(file, sep=";", deci
浏览 0提问于2017-07-18得票数 3
回答已采纳
2回答
是否有一种优雅的方法一次读取一个文件，做一些预处理，然后合并成一个大数据。我就是这样做的。我相信在这里可能还有其他方法来摆脱变量i。i=0for myfile in myfiles: #Do some annotations
浏览 2提问于2016-05-12得票数 0
回答已采纳
我有几个ascii文件，包括每个月的每日价值。例如，我有以下一月的文件1 0.00000000 0.0000000031 31.00000000 6.44272470
我想将日号(col " day ")转换为像YY dd这样的格式的日期如何将每天生成的日期字符串保存在输出文件<em
浏览 0提问于2021-06-03得票数 0
回答已采纳
2回答
有3种类型的文件关键字是a 1)具有列a b c d 2)具有列a b c d(其中a不包含任何来自1) 3)具有列a b c d e f g(其中a包含所有来自1和2的列)
我如何才能将所有这些合并到一个包含所有文件中所有信息的csv中？
浏览 1提问于2015-09-10得票数 0
1回答
提高运行大文件的性能
、、、
我知道有一些关于这个主题的问题，但我似乎不能有效地进行。我的机器上运行着包含8GB of memory的大型输入数据集(2-3 GB)。我使用的是安装了pandas 0.24.0的spyder版本。本质上，我将输入文件chunk成较小的片段，通过一些代码运行它，然后导出较小的输出。然后我删除分块的信息以释放内存。但在整个操作过程中，内存仍然会不断积累，最终会花费类似的时间。但是每个文件的标头是不同<
浏览 13提问于2020-05-18得票数 3
我正在使用pandas提供的优秀的read_csv()函数，它提供了：Out[32]: Int64Index: 12083 entries, 0 to 12082
Columns: 569 e
浏览 0提问于2013-02-11得票数 13
回答已采纳
2回答
我正在尝试使用Pandas 'read_csv‘方法解析一个巨大的csv文件(大约5000万行)。下面是我正在使用的代码片段：在使用pd.concat方法之后，我将得到一组用于进一步处理的数据一切都很好，从csv文件<
浏览 0提问于2018-07-30得票数 1
回答已采纳
目前，我正在制作一个程序，循环通过多个txt文件，并将它们转换为数据帧，以便可以分析数据。我已经使用glob函数返回了txt文件的列表。在此之后，我创建了一个for循环，循环遍历列表中的每一项。然后，我使用data.head()函数来打印数据，使用read_csv函数来读取该数据。我知道我的代码可能真的很愚蠢，但请帮我解决它。我现在不知所措。以下是我的原始代码：import pandas as pd
path = '
浏览 11提问于2020-05-29得票数 0
2回答
我正在阅读以csv格式存储的巨型熊猫( 18.1版本，特意) DataFrames (~总计30 GB)。但是，使用read_csv时，内存消耗会增长到初始csv的两倍。文件--> 60 GB。然而，这要慢得多，而且并没有真正减少内存的使用。我用4 GB的DataFrame试过了。在读取了DataFrame之后，该脚本仍然消耗了大约7 GB内存。下面是我的代码：
for chunk in pandas.read_csv(fn
浏览 2提问于2017-01-01得票数 5
，我知道了如何使用pandas对多列进行分组并构造一个新的唯一id，但是如果我想在Python中使用Apache beam来实现该问题中描述的相同功能，我如何实现它，然后将新数据写入换行符分隔的JSON假设数据集存储在csv文件中。我是Apache beam的新手，这是我现在所拥有的： import pandasfrom apache_beam.dataframe.io importread_csv</em
浏览 14提问于2021-08-15得票数 0
回答已采纳
2回答
迭代Dask数据帧
、、、、
我正在尝试从成百上千个大型CSV文件的单个列中创建一个Keras Tokenizer。Dask似乎是一个很好的工具。我目前的方法最终会导致内存问题： df = dd.read_csv('data/*.csv', usecol=['MyCol'])
# Process column and get underlying大致是这样的： df = pd.read_csv('a-single-file.csv', chunksize=1000
浏览 18提问于2020-10-30得票数 1
我从我运行的一个实验的30次重复运行中获得了30个csv数据文件。我正在使用DataFrames的read_csv()函数将数据读取到pandas列表中。我想在这个列表中创建一个DataFrame，包含每列的30个DataFrames的平均值。有没有一种内置的方法来实现这一点？
为了清楚起见，我将在下面的答案中扩展示例。假设我有两个Dat
浏览 0提问于2012-06-24得票数 4
回答已采纳
我正试图在pandas.read_csv之上编写我自己的read_csv方法。# pandas_custom.py moduledef read_csv(**kwargs):
df = pd.read_csv(**kwargs)() takes 0 positional arguments but 1 was given 我可以正确地创建自己的read_Csv方法或覆盖原始方法吗？我是否应该从https
浏览 32提问于2020-01-14得票数 0
回答已采纳
1回答
我面临许多问题，集成/添加Pandas现有代码的Pandas代码。1)如果我将Pandas dataframes转换为，那么多个操作就无法很好地转换，因为Pandas dataframes似乎没有Pandas dataframes那么丰富。2)如果我选择使用Pandas和pandas在同一代码中处理不同的数据集，当通过map调用
浏览 2提问于2017-12-26得票数 6
为了规避这一问题，我在评论中使用了CJR的建议，只是简单地选择了我的DataFrames。我记忆中有一只熊猫的DataFrame。我希望能够将其写入文件(使用to_csv)，然后使用read_csv将结果读入新的DataFrame。我希望原始DataFrame和新的"from DataFrame“具有相同的数据类型。我试图通过为quoting和read_csv使用quotechar和to_csv参数来实现这
浏览 0提问于2019-07-10得票数 4
回答已采纳
Pandas for read_clipboard说“从剪贴板读取文本并传递给read_csv__”，但在下面的示例中，我得到了与read_clipboard和read_csv不同的结果DataFramesimport numpy as npfrom io import StringIO
df =
浏览 1提问于2021-06-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
