我正试图通过Pandas.read_csv打开一个巨大的csv文件(大约50 to )。我看到了另一个问题，解决方案是使用块，但这对我来说不是一个好方法。
浏览 10提问于2020-05-28得票数 0
回答已采纳
1回答
我跳过了大文件中的一些行，因此我将该文件作为read_csv方法的缓冲区。 line = f.readline() return pd.read_csv(f,sep='\t')
之后，我尝试使用dask而不是pandas，但是dask无法获得缓冲区作为read_csv方法的输入，因此失败了。return dd.read_cs
浏览 2提问于2019-04-21得票数 2
1回答
提高运行大文件的性能
、、、
我知道有一些关于这个主题的问题，但我似乎不能有效地进行。我的机器上运行着包含8GB of memory的大型输入数据集(2-3 GB)。我使用的是安装了pandas 0.24.0的spyder版本。(df_list)
del df_list我尝试过使用dask，但是使用简单的pandas
浏览 13提问于2020-05-18得票数 3
1回答
我正在尝试构建一个项目，并创建了一个包含13347行和2500列的csv，但是在通过pandas读取文件时，由于我的模型没有正确构建，所以只读取了初始的6600个值。
浏览 18提问于2019-12-11得票数 0
2回答
我想知道是否有一种方法可以提高将大型csv文件读取到pandas数据帧中的性能。我有3个大的(每个3.5 it的记录)管道分隔的文件，我想要加载到dataframe中，并在其上执行一些任务。目前，我使用pandas.read_csv()在参数中定义cols和它们的数据类型，如下所示。通过定义列的数据类型，我确实看到了一些改进，但它仍然需要3分钟以上的时间来加载。import pandas as pd
df = pd.read_csv(file_, index_col=None, usecols = sourceFields, sep=&#x
浏览 1提问于2018-03-09得票数 0
我使用pandas.read_csv来读取一个用于机器学习的巨大文件，但是我得到了内存错误。或者其他软件/库/我可以使用的方式？
浏览 0提问于2019-03-19得票数 1
我有50 GB数据的文件。我知道如何使用Pandas进行数据分析。因此，我想在nrows中使用read_csv()选项。我写了这样的代码：df = pd.read_csv("Analysis_of_50GB.csv",encoding="utf-16",nrows=1000,index_col所以我做了这件事，并收到了错误：
df = pd.read_
浏览 0提问于2019-03-26得票数 1
回答已采纳
.], dtype=object)] does not have _ref_locs setproject = pandas.read_csv(read_csv('dbo_Project.csv')project = pandas.read_csv(read_csv('dbo_BuildingDescrip
浏览 9提问于2013-08-11得票数 1
回答已采纳
我知道matplotlib可以绘制直方图，但我的主要问题是将csv文件从字符串转换为浮点数，因为字符串无法绘制。number, item in enumerate(row) if item and (1 <= number <= 12)] for row in rows]
plt.hist(floats, bins=50
浏览 0提问于2014-10-11得票数 2
line.startswith("Some"):在熊猫中： standings = pandas.read_csvif standings[row][0].startswith("Some"):我想简单地选择第一行，并使用if语句检查它，最好是在pandaspandas</em
浏览 10提问于2018-08-11得票数 0
回答已采纳
我需要从一个大文件中创建一个Pandas DataFrame，其中包含空格分隔值和取决于列数的行结构。args = [iter(iterable)] * n(代码来自itertools示例)
问题是对于500MB+文件，这会快速地消耗内存，而Pandas在读取这么大的MultiIndexes列表时会遇到一些问题。如何将Pandas文件读取功能(read_csv、re
浏览 1提问于2013-04-09得票数 1
1回答
我有一个很大的制表符分隔的数据文件，我想用pandas的"read_csv“或”read_table“函数在python中读取它。当我读取这个大文件时，它显示以下错误，即使在关闭"index_col”值之后也是如此。>>> read_csv("test_data.txt", sep = "\t", header=0, index_col=None)
Traceback (most recent call last)/io/pa
浏览 3提问于2012-09-20得票数 4
所以，我有下面的脚本 lapply(read_csv) %>%它工作得很好，找到了所有的位置文件csvs并创建了一个大文件，但是我遇到了以下问题，一个csv文件生成了错误：Error: Column `some_column我决定从数据集中删除这个列
output <- list.files(pattern = &quo
浏览 0提问于2019-07-23得票数 0
回答已采纳
具体来说，我使用Pandas read_csv和chunksize选项()来读取大文件。为了这个问题，我有一些损坏的CSV文件，它们太大/太多，无法修复，而且我也不需要每一行。我很高兴在错误出现之前尽可能地阅读，然后放弃该文件和/或跳过有问题的块/行。_reader.read(nrows)
File "pandas/_libs/parsers.pyx", line 860, in pandas._
浏览 14提问于2020-06-29得票数 1
1回答
我有一个很大的csv文件(约5-10 GB)，我正在将其转换为pandas数据帧，处理后再转换回csv文件。values()[j])
我在处理大文件时内存不足
浏览 0提问于2018-04-06得票数 0
例如，我正在使用ipython中的pandas包。import pandas我是否总是必须使用包名来调用函数
浏览 2提问于2012-06-12得票数 1
回答已采纳
代码如下所示： import pandas as pd
extension=filename[filename.rfind('.')
浏览 19提问于2019-12-03得票数 0
嗨，我想知道是否有一种方法可以使用pandas read_csv从csv文件中读取数据，除了第一列之外，每个条目都用空格分隔： Alabama 400 300 200Missouri 400 200 50
District of Columbia 450 100 250 因此将有4列，第一列是state。
浏览 28提问于2019-01-18得票数 1
回答已采纳
我写了一个简单的代码来读取带有熊猫read_csv的.csv (完全依赖于熊猫的类型推断)。我收到错误消息：谢谢。ERROR:root:2017-12-13 02:22:48
浏览 1提问于2017-12-13得票数 1
无法使用read_csv读取大的Excel文件- python错误，该文件不存在。data = pd.read_csv("E:\rawdata_50K.csv")excel文件的前20行可以很好地加载；大版本则不能
浏览 21提问于2019-08-07得票数 1
云服务器
ICP备案
云直播
即时通信 IM
对象存储
腾讯云开发者
