0回答
从RAM读取CSV文件
、、、、
情况:我有一个CVD (ClamAV病毒数据库)文件加载到内存使用mmap。CVD文件中每一行的格式与CSV文件的格式相同(以‘：’分隔)。('delimit', delimiter=':', quoting=csv.QUOTE_NONE)
for row in csv.reader(mapper问题:运行时，它返回错误_csv.Error: iterator should re
浏览 13提问于2017-06-08得票数 0
回答已采纳
3回答
如何在Java中读取CSV文件？InputStream file = item.getInputStream();
浏览 2提问于2015-10-07得票数 1
回答已采纳
我想用python从csv文件中读取。我正在做内存管理工作，所以我想问一下:当我在python中调用pandas模块的read_csv时，文件中的数据会加载到内存中，然后读取，还是直接从磁盘读取？如果我想以块的形式读取csv文件，数据会在RAM中逐块加载吗？
浏览 1提问于2019-02-19得票数 0
我将处理非常大的数据文件(许多of )。我将不得不读取这些文件并写入这些文件。因此，我将不能依赖RAM来存储数据，而需要从磁盘读取和写入文件。我熟悉pandas库提供的read_csv和to_csv选项。但是，我不确定read csv函数是读取文件，然后将其存储在内存中，还是直接从磁盘读取文件。使用pandas从</em
浏览 0提问于2017-09-16得票数 0
我有一个8GB的CSV文件，其中包含有关在法国创建的公司的信息。\data.csv')然后，为了消除大小问题，我复制文件(data.csv)并粘贴它，只保留前25行(data2.csv)。为了消除大小问题，这是一个更轻的文件：我得到相同的O
浏览 0提问于2019-01-04得票数 0
1回答
我在Excel中有一个文件，其中有一个包含中文简体字的列。当我从相应的CSV文件在R中打开它时，我只得到?'s。恐怕问题是在从Excel导出到CSV时，因为当我在文本编辑器上打开CSV文件时，我也会得到?'s。
我怎么才能避开这一切？
浏览 0提问于2018-06-24得票数 2
回答已采纳
我有一个持续增长的文件，如下所示：
https|webmail.mahindracomviva.com|application/vnd.ms-sync.wbxml|158|POST|203.101.110.171
浏览 1提问于2014-01-07得票数 3
1回答
我的应用程序需要从一个300 of的大型csv文件中读取几千行，每行包含几个数字。我试着在c中用fget逐行读取文件，但它花了很长时间，即使是在linux的wc -l中，仅仅读取所有行也需要相当长的时间。
我还尝试根据应用程序的逻辑将所有数据写入sqlite3数据库。但是，数据结构与上面的csv文件不同，csv文件现在有1000亿行，每行只有两个数字。然后我在上面创建了两个索引，结果是一个2.5TB的数据库，而之前没
浏览 3提问于2020-06-16得票数 0
我有一个包含如下数据的csv： identifier,vcenter,cores,ramdf = pd.read_csv('vm.csv') identifier vcenter cores ram
8 example123 48 我的要求是： iden
浏览 39提问于2020-08-18得票数 0
回答已采纳
我主要有三组CSV文件(每个文件分为几个小文件)：第一组CSV文件总共有600+ GB (如果在int中，可能200+ GB，使CSV按字符计算，对吧？)，每个文件都有相同的行大小，整个数据应该一行一行地收集起来。应用程序应该从这些文件中读取一些特定的行，获取data_1，并通过data_1从第二组和第三组文件中获取data_2和data_3。第二组和第三组的CSV</em
浏览 0提问于2020-03-10得票数 0
f = open("data.csv")f_reader = csv.reader(f)上面是我用来读取csv文件的代码。csv文件只有大约800 MB，我使用的是64位系统和8GB of Ram。该文件包含1亿行。但是，更不用说读取整个<
浏览 2提问于2015-05-22得票数 1
回答已采纳
我在Azure Machine Learning上使用notebook VM作为计算实例创建从CSV文件读取的简单数据帧时遇到内存错误。虚拟机在Ubuntu (Linux (ubuntu 16.04) )上配置DS 13 56gb RAM，8vcpu，112 of存储。CSV文件是5 5gb文件。account_key)
blobstring = blob_service.get_blob_to_text(container,filepath).con
浏览 14提问于2020-01-21得票数 1
回答已采纳
我有1000 s的CSV文件，我想要追加并创建一个大的numpy数组。问题是，numpy数组将比我的RAM大得多。有没有办法一次写一点到磁盘，而不让整个数组在RAM中？另外，是否有一种方法一次只从磁盘读取数组的一个特定部分？
浏览 2提问于2020-08-12得票数 2
回答已采纳
我有一堆CSV文件压缩成一个压缩在S3上。我只需要使用AWS lambda函数处理zip中的一个CSV文件。key=zip_f
csv_dat= zip_obj.read('one.csv')
上面的代码片段可以很好地处理测试zip文件，但是，如果压缩文
浏览 5提问于2021-07-14得票数 0
回答已采纳
我有一个大小很大的csv文件，大约6gb，加载到python需要很长时间。我得到以下错误：df = pd.read_csv('nyc311.csv', low_memory=False)
我不认为我正在理解错误代码，最后一行似乎表明文件太大，无法加载？我也尝试了low_memory=FALSE选项，但这也不起作用。
浏览 0提问于2017-02-08得票数 0
回答已采纳
2回答
我在.csv文件中有如下所示的数据。| Name | Age | Place||Srinu | 25 | TS |如何从上述csv文件中读取只读位置
浏览 2提问于2021-05-18得票数 0
回答已采纳
我需要读取数千个csv文件，并将它们输出为Python中的一个csv文件。我能够在每个csv中阅读并从内存中删除它来解决RAM问题。但是，我目前正在迭代地读取和处理每个csv (在Pandas中)，并将输出行附加到最后的csv<
浏览 5提问于2022-10-18得票数 0
回答已采纳
数据文件对于内存来说太大了，所以我不能使用.read_csv() -> concat -> .to_csv()。有没有简单的选项来连接两个DataFrames？
浏览 4提问于2021-05-30得票数 0
我正在尝试从CSV文件中选择要读取的行，选择基于：s = n//10由于RAM使用率过高，此行导致脚本崩溃。文件大小接近5 GB，这就是为什么需要随机读取10%的文件
浏览 0提问于2017-11-24得票数 0
我遇到了一个问题，在Windows (8 Gb RAM)上使用0.18.1 pandas和2.7.10 Python从大型csv文件中读取随机行。也就是说，部分代码：s = 10因此，如果我想从
浏览 27提问于2016-07-07得票数 3
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
