2回答
例如：20100102.csv.20140228.csvstation_001.csv.station_999.csv
为了加快速度，我决定使用foreach和doMC包并行读取每天的文件，并在通过站点并行聚合后将站点
浏览 3提问于2014-02-28得票数 3
回答已采纳
1回答
我使用@tremby的好主意来填充随机数据的磁盘。我正在弄出运行这个程序的单一核心(我还有7个)，而且我的I/O还远远不够。我正在寻找一种将输入并行化到dd的方法。有人有什么建议吗？
浏览 0提问于2016-01-05得票数 2
回答已采纳
3回答
基本上，我收到了图像的System：：Drawing：：位图，然后我需要将其写入磁盘，对其执行复杂的分析，并返回分析结果。我认为我可以并行地将图像写入磁盘以加快速度(我的算法不会修改图像)。
浏览 2提问于2012-04-21得票数 5
回答已采纳
我目前的理解是：
如果我通过DataFrame读取DataFrameReader.jdbc，然后将其写入磁盘(而不调用repartition方法)，那么输出中的文件是否仍然与调用了磁盘</em
浏览 12提问于2018-01-16得票数 11
回答已采纳
我需要将数据导出到文本文件中。我正在考虑使用并行创建多个文件，然后结合在一起。
这样做好吗？非常感谢你的建议。
浏览 6提问于2014-02-16得票数 1
回答已采纳
2回答
有效地编写文件--立即收集或写入
、、、、
使用由生产者填充的队列，并在所有数据到达后启动写入磁盘的任务。
数据被写入不同的文件和多个目录。我假设第二个版本的性能会更好，理论上生产者和I/O实际上是并行的。由于I/O会对调用进程造成中断，所以我想知道是否会有不利的一面。这可能会带来比并行性更大的开销。
浏览 6提问于2016-03-02得票数 0
回答已采纳
我正在用java编写一个简单的基准测试来测试并行化。该程序总共生成1000个随机字节，并将它们写入二进制文件。它使用不同数量的线程来并行字节生成和写入磁盘，并测量每个线程计数的整个进程的执行时间。该程序将整个执行过程拆分到指定数量的线程中--生成字节数组和，将这些字节写入文件。1)是否应该让每个线程创
浏览 2提问于2016-11-05得票数 0
我想知道如何在Mongodb中提高数据导入性能。我有17700个txt文件，要导入它们，我必须先把它们转换成字典，然后导入到Mongo中，但是使用循环的过程真的太慢了，有什么建议吗？
浏览 2提问于2019-04-12得票数 2
我正在将大量数据复制到Azure Blob存储区域。我的源数据集有大量我不想移动的文件，所以我的第一个想法是创建一个DataSet.csv文件，它就是我想要复制的文件。
浏览 0提问于2017-03-22得票数 1
我正在构建一个图形引擎，我需要将te结果图像写入一个.bmp文件。我将像素存储在一个vector<Color>中。同时保存图像的宽度和宽度。out.write((char *) padding, line_padding);//okay we should be done}
如您所见，像素是一个接一个地写入的其次，我想使用多线程写入文件(不确定是否需要使用线程或处理)。使用openMP。但这意味着我需要指定写入哪个字节地址，我认为，这是我无法
浏览 1提问于2021-03-09得票数 1
回答已采纳
我已经用一个列(例如，id)对数据进行了分区，并将这个数据集保存在某个位置。有时，我会得到一个结构相同的较小的增量数据集，实际上，我必须在id的基础上重新插入我现有的数据，并在date列中决定哪条记录是最新的。I，并不断地将它们写入我的存储中，并在完成之前的I之后使用新的I。不幸的是，似乎正在发生的事情是，在将任何东西写入磁盘之前，Spark将我的所有id组处理成一个大任务(自然会泄漏到磁盘)。会变得很慢。乏味和不太实际，但可能比把所
浏览 0提问于2018-03-26得票数 0
问题是，与直接将文件写入磁盘相比，如果我只需要将数据附加到内存映射文件中，那么它可以帮助我获得更好的写入性能。问题是，当我并行处理输入行时，我必须保留输出数据，直到完成所有输入行。大约100 K输入行的输出数据可能高达10
浏览 1提问于2015-03-13得票数 2
回答已采纳
为了保持简单，这个过程是：我认为，流程方法是独立的，一旦输入args不同，就应该并行化： Console.WriteLine(testLst.Where(x => x.Count > 1).Count());0删除AsParallel<e
浏览 1提问于2011-12-09得票数 4
回答已采纳
我们正在运行一些夜间数据同步作业，这些作业使用upsert语句将数据从外部数据库移动到postgres。数据是分批更新的，并使用并行工作人员(目前有10人)。我们面临的问题是，即使没有更改任何数据(例如，当运行两个连续的同步且之间没有变化时)，也会有大量的磁盘io (100%的磁盘使用率，200 MB/s写入)。预期的行为将是大量读取，但磁盘上的写入操作几乎为零。即使在以
浏览 0提问于2021-01-11得票数 3
2回答
我想在一个循环中多次启动一个函数，每次从摄像机获取和图像，并将图像写入光盘，而不需要等待这个过程完成。因此，每次调用该函数时，它都与启动该函数的循环并行运行，以便在此期间继续执行其他对时间敏感的操作。我做了这个例子，它使函数的第一个“执行”与循环并行运行，然后第二次失败，因为我不能.start()它两次。是否可以以其他方式做到这一点呢？flag = True编辑:在Sylvaus的反馈之后:我已经制作了两个不同的版本来触发一个函数，这个函数最终将被用于获取和存储驱动器上的图像，并与一个主脚本
浏览 6提问于2020-05-29得票数 2
回答已采纳
1回答
是否有可能同时写出多个CSV？目前，我对输出目录执行listdir()操作，并逐个遍历文件列表。理想情况下，我想把它们都写在一起。
浏览 0提问于2018-03-08得票数 0
回答已采纳
3回答
考虑有N个文件要完全写入磁盘(即从所有文件缓冲区刷新)。对于每个文件，我们使用WriteFile写入少量(相对于硬盘寻道时间)的数据，例如64KB，然后对该文件调用FlushFileBuffers，以确保该文件的数据完全刷新到硬盘驱动器。如果我们按顺序逐个写入和刷新文件，那么我预计大约需要时间N*seekTime + N*writeTime，其中seekTime是将硬盘磁头定位到适当扇区的时间(这可能需要整个磁盘旋转的时间)，writeTime是<em
浏览 2提问于2015-07-15得票数 4
6回答
我正在开发一款cpu密集型(处理器密集型)的科学软件，但它需要经常将数据写入磁盘(i/o密集型)。第一个想法是：可能是管道/缓冲区？
浏览 2提问于2009-06-18得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
