我有一个大的内存库信息(在一个具有大字典的类中)，它需要加载到内存中，并在数据编译成这个超大型结构(高达20 up)后随着信息的接收而更新。我需要将这个更新的内存库保存到磁盘上，以便稍后加载。如果您注意到，在拥有20 it的结构和需要序列化的pickle之间，它远远超出了我的内存资源。 有没有办法在序列化信息时
浏览 10提问于2021-01-21得票数 0
回答已采纳
2回答
我正在寻找在磁盘LRU缓存包的Python。它们中的大多数都在内存缓存中。
主要原因是数据库访问速度慢，内存LRU内存有限。然而，大型和快速的SSD用于LRU缓存。
浏览 1提问于2018-04-01得票数 6
回答已采纳
在通过write.csv或readr::write_csv将csv文件实际写入磁盘之前，在R中有任何方法来估计csv文件的文件大小吗？如果用户不小心试图将大型文件写入函数中的磁盘，我想实现一个警告。数据存储( dataframe，object.size)的内存占用与磁盘上的大小之间似乎有某种关系，而后者则要大得多。但是，内存中的
浏览 7提问于2016-03-10得票数 18
回答已采纳
3回答
对于可溢出的数据结构，有没有好的资源或书籍？
当存储大型对象时，它可能会填满所有内存，但如果您可以将队列结构中最常用的项保留在内存中，而将其余的项保存在磁盘上(有点像分页)。同样，这个问题也适用于其他结构，如链表、数组、哈希表等。
浏览 1提问于2009-10-03得票数 8
回答已采纳
2回答
如何强制暂停进程的内存交换？
、、、、
我正在寻找方法，以改善用户界面，防止落后Android设备256 of的内存。内存是如此有限，以致于大型前端应用程序引发了大量的其他应用程序的交换。这样做的想法是:如果后台应用程序(例如Facebook应用)不需要连续运行，不像电话，它必须保持不间断，只需暂停应用程序的进程，并继续每隔几分钟运行一次以检索更新，只有当手机在口袋里空闲时，然后再暂停处理为了减少延迟，替换掉其他应用程序的内存，我希望暂停
浏览 5提问于2012-05-27得票数 1
3回答
我有一个PHP脚本，偶尔需要将大型文件写入磁盘。使用file_put_contents()时，如果文件足够大(在本例中约为2MB)，则PHP脚本将耗尽内存(PHP致命错误:允许########字节的内存大小耗尽)。我知道我可以增加记忆限制，但对我来说，这似乎不是一个完整的解决方案--必须有更好的方法，对吧？
用PHP将一个大文件写入磁盘的最好方法是什么？
浏览 2提问于2011-01-25得票数 15
回答已采纳
1回答
我正在开发一个处理大量视频文件的应用程序。处理步骤之一是通过在特定点截图来创建视频内容的故事板。目前，我们正在通过将视频从内存写入磁盘，调用ffmpeg在指定的时间生成屏幕快照，将屏幕快照读取到内存中，然后从磁盘中删除视频和屏幕快照。
问题是，这是大量的大型磁盘操作，正在成为瓶颈。理想情况下，我想做的是在不将视频或屏幕快照写入<
浏览 0提问于2014-12-09得票数 2
回答已采纳
爬虫采用生产者-消费者模式，我用这样的{方法:get、url:xxxx、other_info:yyyy}向队列提供数据。 data[index]=response # every response is about 5-25k
有没有更好的解决办法有数千个并发请求，我怀疑内存的使用可能增
浏览 3提问于2013-11-07得票数 1
回答已采纳
为了完成一些任务，我将所有的单词加载到一个散列中。每个单词都是一个键，值是它在文本中出现的次数。
我的问题是，在将它们加载到散列中时，我会耗尽内存。我在一台只有1 GB内存的机器上。有没有办法减少内存使用量？或者我应该使用Ruby散列之外的其他方法。
浏览 0提问于2012-12-21得票数 2
回答已采纳
我正在用python编写代码，这些代码可能会疯狂运行，并会做一些意想不到的事情。这些可能包括尝试将非常大的数组保存到磁盘上，并试图为数组分配大量的内存(比系统上可用的内存要多)。我希望在MacOSX10.7.5中的受限环境中运行代码，并遵循以下规则：
程序可以将文件写入一个特定目录，而不能将其他目录写入文件(也就是说，它不能修改该目录之外的文
浏览 0提问于2013-07-19得票数 0
1回答
我在Python中有一个大型的Pandas DataFrame，我想在一个朱莉娅程序(作为DataFrames.DataFrame对象)中访问它。由于我希望避免为从Python发送到Julia的每个文件写入磁盘，似乎将DataFrame存储在一个缓冲区中的Apache /Feather中，并通过TCP从python发送到Julia似乎是理想的。我试过很多次了，但想不出怎么做
将</
浏览 10提问于2022-06-07得票数 4
我有一个长期运行的Python进程，它生成的数据比我计划的要多。我的结果存储在一个列表中，当程序完成时，该列表将被序列化(酸洗)并写入磁盘--如果它走到了这一步的话。但以这种速度，列表更有可能耗尽所有1+ GB的空闲内存，进程将崩溃，在此过程中丢失所有结果。
我计划修改我的脚本，定期将结果写入磁盘，但如果可能的话，我希望保存当前运行的</
浏览 2提问于2010-10-04得票数 9
回答已采纳
我希望将应用程序产生的数据缓存到内存中，但是如果内存不足，我想将数据交换到磁盘。
理想情况下，我希望VM通知我它需要内存，并将数据写入磁盘，并以这种方式释放一些内存。在这种情况下，java.lang.ref中的引用类似乎没有任何用处，它们的通知机制(ReferenceQueue)只有在GC已经回收引用之后才触发。那么，将数据保存到磁盘为时已晚。有哪些替代方案可以有
浏览 9提问于2011-12-08得票数 3
1回答
假设我要从一个关系数据库中提取一个大型数据集。但是，我不想填满超过100MB的内存(这是一个任意的限制)。此外，我还想对此数据集执行某些操作。通常，在python这样的语言中，我只会将所有获取的数据放在内存中。但我想避免这种情况。因此，我可能不得不引入一个中间步骤，将查询的数据写入磁盘，然后逐个块地处理它们。处理这种情况的最佳方法是什么？
浏览 0提问于2011-12-13得票数 0
2回答
创建基于磁盘的数据结构
、、、
我找不到关于这个话题的任何资料。有几个问题有很好的答案，描述了需要存储在磁盘上的数据(泡菜、搁置、数据库)的解决方案，但我想学习如何实现自己的问题。1)如果我要用Python创建一个基于磁盘的图形结构，我就必须通过写入磁盘来实现必要的方法。但我该怎么做呢？
2)基于磁盘的结构的优点之一是在处理
浏览 2提问于2015-07-23得票数 1
回答已采纳
假设我已经将内存中的~1GB数据聚合成一个字符串或相应的数据结构。我的目标是加密这些数据，然后再通过有线发送。由于我对加密的了解有限，我正在研究非对称密钥加密，并使用公钥来完成此任务。在谷歌的几个搜索中，由于公钥加密的字节限制，这听起来是不可能的。(是这样吗？)
或者，我有什么选择来实现这样的目标呢？我的目标本质上是在内存中执行加密，不将大量信息
浏览 0提问于2020-03-12得票数 0
1回答
我的框=> A和B上运行着两个进程。vm.dirty_expire_centisecs = 3000
文档声明“dirty_background_ratio”是内核后台刷新线程启动将</
浏览 6提问于2015-08-13得票数 1
在资源监视器中，在Disk > Disk Activity下，显示了一个文件列表，并在每个文件上执行磁盘读/写B/秒。当内存被分页到磁盘时(即。虚拟内存)，它是否报告为针对pagefile.sys的写活动？当发生严重故障时.(虚拟内存被读取)，它是否被报告为针对pagefile.sys的读活动？我们有一个大型数据库的性能问题。资源监视器显示了大量针对mdf文件和sq
浏览 0提问于2020-05-28得票数 1
回答已采纳
基本上，我在内存中缓存了一堆文件。问题是，如果我将太多的文件缓存在内存中，我可能会耗尽内存。有没有做这类事情的库？
格雷
浏览 0提问于2011-09-27得票数 1
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
