我有一个很大的csv文件，有几百万行。我想以块为单位读取csv，并将每个块的行数保存在dataframe中以供参考。chunk_size=50000 print(chunk.shape) 我想将每个块形状保存在dataf
浏览 37提问于2021-08-06得票数 0
我的服务器有8GB的内存，我使用熊猫read_csv函数将csv文件读取到一个dataframe，但是对于大于900 My的csv大小，它是作为“挂掉”执行的。
请任何人帮我处理这件事。我附加了我的meminfo，以获得关于如何清除服务器上的内存的建议。
浏览 2提问于2017-03-28得票数 2
1回答
提高运行大文件的性能
、、、
我知道有一些关于这个主题的问题，但我似乎不能有效地进行。我的机器上运行着包含8GB of memory的大型输入数据集(2-3 GB)。我使用的是安装了pandas 0.24.0的spyder版本。输入文件目前大约需要一个小时才能生成一个10MB左右的输出文件。
此后，我尝试通过使用以下代码对输入文件进行分块来优化该过程。本质上，我将输入文件chunk成较小的片段
浏览 13提问于2020-05-18得票数 3
1回答
阅读大熊猫中的html表是可以的，但是在10 me或大约10000行/记录的范围内的大文件让我等待了10分钟，仍然没有进展，在csv中同样的文件被快速解析。请帮助加速html表阅读熊猫，或使这个转换为csv。
浏览 1提问于2019-05-02得票数 0
我有一个巨大的数据集(大约30 GB大小)，我需要将CSV分解成更小的CSV文件。使用skipRows争论的传统方法似乎需要很长时间。我认为，如果在读取初始的rowSize之后，例如1000，我们从CSV文件中删除这些行，那么这个过程可能会更快，所以每次迭代之后，我们就不必跳过行了，这基本上是每次读取这些行数。
浏览 2提问于2021-09-29得票数 2
回答已采纳
我知道我可以加载一个包含数据块的文件：for chunk in pandas.read_csv("path_to_my_csv.csv", chunksize=1e9):# Process在Pandas API中没
浏览 2提问于2020-10-25得票数 0
回答已采纳
1回答
我有一个比csv文件更大的1 GB文件。通常情况下，我使用csv将table转换为pandas。文件，对每个column执行操作，并将其转储到table中。现在，由于我的文件非常大，pandas无法在data frame中加载它。因此，我在网上查找了一个解决方案，该解决方案讨论了如何在块中加载data并执行操作。=chunksize, itera
浏览 1提问于2020-04-23得票数 1
回答已采纳
我有一个很大的txt文件(52.375 kb，ln 86213，col420)。code | school steven | 1234 | harvard
Michael | 98765 | MIT 我想读取它，并将其作为pandas中的数据帧。Df = statement_read(myfile.Txt) 我不想手动将txt转换为csv。我想用python阅读myfile.txt，这样我就可以用pandas来
浏览 10提问于2019-05-24得票数 0
回答已采纳
3回答
我有一个csv文件，希望对它做以下修改：df.index = df.index.map(lambda x: x[:-1])df.to_csv('some_file.csv')首先，读
浏览 0提问于2021-07-13得票数 1
2回答
我有一个大小为5-6 6GB(百万行)的csv文件。所以pandas不能处理它(它给出内存错误，因为我的内存容量是2 2GB)。我想在它上使用Hadoop (即，将每个文件的块存储在不同的节点上)，那么从开始有什么方法可以做到这一点，以及我使用哪个Hadoop数据库(Hive、HBase、PIG)对每个块执行操作。如果问题有什么问题，请让我知道我
浏览 1提问于2017-09-28得票数 1
10回答
我正在寻找一种读取大量大型CSV文件的标题行的方法。使用Pandas，我可以为每个csv文件提供此方法：>>> df.columns>>> reader= csv.DictReader(open(PA
浏览 0提问于2014-07-25得票数 32
回答已采纳
3回答
我知道，通过将compression='gzip'参数传递给pd.to_csv()，我可以将DataFrame保存到压缩的CSV文件中。my_df.to_csv('my_file_name.csv', compression='gzip')
我还知道，如果我想将DataFrame附加到现有CSV文件的末尾，我可以使用mode='a'，如下
浏览 10提问于2016-07-29得票数 14
我有多个大型数据文件(约3GB的csv文件，每行约1.5亿行)，其中包含Unix样式的时间戳和随机生成的观察ids。每个观察可以/将在不同的时间发生多次。为了分析观测的时间发展，我现在想要得到一个数据框架，其中包含每个观察id的列，以及一个可以更改的时间桶的行，例如1小时，如下所示：
time_bin aabthssv vvvx7ths
浏览 4提问于2020-02-29得票数 0
回答已采纳
因此，我的csv文件存储在本地google colab目录中。它的大小约为3.31 gb。当我运行以下代码行时：会话耗尽内存并重新连接。请告诉我如何将这个大型csv文件读入pandas数据帧。
浏览 0提问于2019-08-17得票数 0
我有一个很大的csv文件(5 5GB)，其中包含大约50M行。我想让更小的块csv(~1M行)从原始的csv文件。我尝试了下面的方法来分块，但花了很多时间来执行分块：
1.I used Pandas to read data from csv and make chunk and write into chunk csv file.import panda
浏览 1提问于2020-09-02得票数 0
我有一个很大的文件，需要在文件包含三列的行中循环。我知道这是一个简单的问题，但我的经验仍然是python的初学者，并搜索以确保这些行相同做这些行，for i in xx:将与for i in range (N):相同的结果，其中N = len(xx)和xx = pd.read_csv(the file)
因为我需要在for循环中执行此计算。
浏览 2提问于2021-02-13得票数 0
我有一个csv文件，包含了大约800万条记录，但是要花一个多小时才能完成这个过程，所以请你帮我处理一下好吗？import pandas as pdimport ipaddressimport shutil
import= 'C:/Users/phani/OneDrive&#
浏览 6提问于2022-01-15得票数 1
回答已采纳
2回答
尝试使用blueimp JQuery文件上传插件来上传大型文件(大于1GB)。使用maxChunkSize配置可以从客户端以块形式进行文件上载。服务器可以使用Content-Range和Content-Disposition头获取块大小和文件名。
服务器端:如何</em
浏览 5提问于2015-09-04得票数 9
1回答
我正在对围绕6GB的大型文件进行计算，每个文件中都有、Modin、熊猫、，我听说与熊猫相比，这是优化的。我需要以块的形式读取CSV文件，并对其执行计算，并将其附加到大型 dataframe 中，并再次将大数据文件转换为CSV文件。
这对于Pandas来说是非常好的。但是处理小文件</e
浏览 0提问于2019-06-15得票数 1
回答已采纳
1回答
我试图读取csv文件，并将它们连接起来，并将它们作为一个csv文件输出。我一直在犯这个错误：csv.field_size_limit(sys.maxsize)
df1 = pd.read_csv</em
浏览 2提问于2020-02-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
