0回答
我希望从大型(~870,000,000行/~4 4GB)文本文件中提取特定的几组行。举个小例子，在一个50行的文件中，我可能需要3-6、18-27和39-45行。使用这样的方法开始，并编写一些程序来对我的数据进行基准测试，似乎fortran90给了我最好的结果(与python、外壳命令(bash)等相比)。我当前的方案只是打开文件，使用一系列循环将读取指针移动到需要的位置，并将结果写入输出
浏览 5提问于2017-01-05得票数 0
我有一个很大的矩阵(2e6x3)，我必须将其写入文本文件。根据您的经验，将大型矩阵写入文本文件的最快方法是什么？
浏览 0提问于2012-10-17得票数 13
回答已采纳
1回答
我有一个很大的文本文件(~7 GB)。我正在寻找是否存在读取大型文本文件的最快方法。我一直在读一些关于使用几种方法来逐块读取以加快进程的文章。if not next_n_lines: # process next_n_lines
list(islice(f, n))将返回文件f的后续n行的列表。在循环中使用它将以
浏览 0提问于2013-02-19得票数 37
1回答
我正在编写一个程序，它读取大型(10Gb+)文本文件，这些文本文件是用块构造的，如下所示：ATCCTTTATTCGGTATCGGATATATTACGCGCGGGGGATATCGGGG我的程序必须读取这些文件，并将所有块(除了具有@header 的块)写入新文件。目前，我的方法是利用'getline()'，如下所示：
std::ifstream inFile(inFi
浏览 8提问于2022-10-08得票数 0
回答已采纳
我正在尝试确定读取包含许多行的大型文本文件、进行一些处理并将其写入新文件的最快方法。在C#/.net中，StreamReader似乎是一种看起来很快的方法，但是当我尝试使用这个文件(逐行阅读)时，它的速度大约是Python /O的1/3 (这让我很担心，因为我一直听说Python2.6的IO相对较慢)。如果没有更快的.Net解决方案来
浏览 0提问于2009-01-05得票数 6
1回答
在我的项目中，我想读取一个包含20,000记录或更多的大型xml文件。读取这个xml文件的好处是什么。如果你能在这方面指导我，并告诉我是否还有第三种方法，我将不胜感激。
浏览 1提问于2012-09-15得票数 0
我有一个巨大的文本文件，其中有1.8亿行，如下所示：我想用pandas读这个文本文件，但只读"pdate“在特定范围内的行。例如，我想读取"pdate“介于981225和981229之间的行。因为整个文本文件很大，所以我不想读取整个文件，然后设置条件。我只想读取那些我的条件为真的行。此外，我需要最快的方法，而不是逐行读取</
浏览 1提问于2020-04-17得票数 0
2回答
我希望从大型文本文件(~870,000,000行)中提取某些行组。例如，在50行文件中，我可能需要第3-6、18-27和39-45行。通过浏览堆栈溢出，我发现bash命令：是获得一行或一组行的最快方法，从NUMstart开始，再到NUMend。然而，当读取多组行时，这似乎是效率低下的。通常情况下，这一技术并不那么重要，但是对于这么大的文件，它会产生巨大的影响。
浏览 4提问于2017-01-03得票数 1
回答已采纳
1回答
我建立了一个程序来创建一个基于文本的直方图从一个图像。0 1 10004 2 10006 2 105 10
在左边，我列出了像素值，在另一边列出了计数。因此，这里我得到了值10005作为最高计数的最大值(200)和值1000作为最高计数值的最
浏览 0提问于2019-02-10得票数 1
回答已采纳
13回答
将文本文件读入字符串变量的最快方法是什么？
我知道这可以通过几种方式来完成，比如读取单个字节，然后将其转换为字符串。我在寻找一种编码最少的方法。
浏览 144提问于2011-09-12得票数 235
回答已采纳
我在窗口中读取大文件时遇到了问题。通常，在linux中，当我第一次读取二进制文件时，读取该文件需要3-4分钟，但在下一次运行时，它会在不到30秒的时间内读取该文件，因为该文件位于内存中，而且它不需要读取整个文件，而是在windows中，每次读取整个文件需要3-4分钟，因为它总是试图读取整个文件。有人知道有什么方法可以将文件缓存在窗口中的内存中以减少读取时间吗？
非常感谢
浏览 1提问于2014-11-13得票数 0
回答已采纳
1回答
我正在开发一个能读入一个巨大的文本文件(最大可达5 5gb )的应用程序。目前，我正在使用fscanf读取文件，因为我发现它是迄今为止最快的。但是，读取整个文件仍然需要相当长的时间。有没有更快的方法从文件中读入数据？
浏览 3提问于2012-07-31得票数 2
2回答
为了在一个相当大的文本文件(高达1GB的文本文件)中查找字符串列表，可以实现的最快技术/算法是什么？首先，我使用了C#，并能够实现逻辑(只需将文件与字符串列表相匹配，每次一串一串。这意味着文件将被读取n个字符串来匹配“时间”，但是由于我处理的文件很多，所以它需要花费很长时间来遍历它们并得到匹配。我愿意接受任何建议，即使它不是C#。更详细的是，我有一个包含许多数字(A)的文本文件，还有很多<
浏览 4提问于2016-06-22得票数 7
回答已采纳
2回答
目前，我正在使用BufferedReader/FileInputStream将XML文件的内容读入Java中的字符串。但我的问题是，是否有比BufferedReader/FileInputStream更快的读取XML content.Are SAX/DOM的方法？提前谢谢。
浏览 4提问于2015-08-28得票数 3
2回答
我正在尝试从一个文本文件中读取值，然后确定它所表示的图形是否为DAG。我想知道在时间效率方面最快的方法是什么。这是文本文件22,3
我正在考虑用给定的信息制作一个邻接表，然后从那里移动。非常感谢您的任何帮助。
浏览 0提问于2016-04-01得票数 2
我对C#非常陌生(尽管我在VB中有经验)，我想要将一些很大的管道(X)分隔的文件导入我的Server数据库中。到目前为止，我所做的是创建一个C#项目(使用SharpDevelop)，并添加代码来扫描目录中具有特定名称的文本文件，并根据文件名标识Server中的目标表。因此，我想就如何最好地获取这些类型的文件(其中一些文件大小为几千KB，大小几乎为2GB )并将它们导入Server提供建议。文本文件也有一个标题行的列名
浏览 0提问于2013-12-09得票数 2
回答已采纳
6回答
读取大型二进制文件(2-3 GB)的每30个字节的最快方法是什么？我已经了解到，由于I/O缓冲区的原因，fseek存在性能问题，但我也不希望在每隔30个字节抓取之前将2-3 GB的数据读入内存。
浏览 8提问于2010-03-07得票数 24
回答已采纳
1回答
我有一个由数千行组成的大型文本文件。我每天都在文本文件中添加新的行。这些行被解析并添加到数据库中。在Java中，有没有一种方法可以在每次运行java应用程序时只读取添加到文本文件中的新行，而不是从头开始读取所有行？
浏览 13提问于2020-09-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
