我是从一个70 it的内存映射数组中读取的，但只使用了其中的大约300MB。从的回答中了解到，memmap实际上并不使用物理内存，所以我认为我应该将所需的数组复制到物理内存中以获得更好的性能。然而，当我np.copy()一个memmap和np.info()复制的数组时，这个类就是一个memmap。抛开这种猜测不谈，我发现使用复制数组时内存使用率更高，性能也有所提高。复制的memmap</em
浏览 19提问于2017-02-06得票数 3
回答已采纳
1回答
我在理解numpy.memmap的工作方式时遇到了问题。背景是，我需要通过删除条目来减少保存在磁盘上的大型numpy数组。读取数组并通过复制所需的部分来构建一个新的数组是不起作用的-它只是不适合放入内存中。所以我们的想法是使用numpy.memmap --即在光盘上工作。：
1) memmap不包含数组中设置的值，而in_memmap和out_memmap包含相同
浏览 5提问于2017-08-08得票数 0
我需要创建一个非常大的字节数组(~30 GB)，但是当我创建它时，我会得到一个内存错误，因为没有足够的RAM来存储它。
浏览 2提问于2022-02-06得票数 0
1回答
然而，根据我的理解，我必须创建一个仅接受numpy数组作为参数的Table。因此，每当我试图使用(.toarray())将csr矩阵转换为数组时，就会得到以下错误(因为矩阵的大小)： File "C:\Users当将memmap传递给表时，我得到以下错误： File "<pyshell
浏览 3提问于2014-01-17得票数 2
回答已采纳
我能不能更改下面的代码，只对X和y使用一些行，而不是复制一份？这将是，即使暂时失败的目的，我想节省内存，而不是增加我的足迹。
浏览 2提问于2014-06-24得票数 2
创建memmap数组： out[index]=(cd_i)(1421392L, 3504L)
浏览 1提问于2015-08-26得票数 2
回答已采纳
1回答
我需要读取存储在内存映射文件中的巨大numpy数组的一部分，处理数据并对数组的另一部分重复。整个numpy数组大约占用50 GB，而我的机器有8 GB的RAM。我最初使用numpy.memmap创建内存映射文件，方法是读取大量较小的文件并处理它们的数据，然后将处理后的数据写入内存映射文件。机器变慢了，我什么也做不了。[5,1:1e7]
我认为使用mmap或numpy.memmap应该允许我访问大型数组</em
浏览 3提问于2014-10-05得票数 6
1回答
是否有一种方法可以将numpy数组从磁盘进行管道处理，并以这种方式保存？编辑:基于@Lukas和@hpaulj注释，我尝试了memmap，但结果却令人吃惊地不太好，因为memmap在内存中崩溃的速度比加载完整数组更快。WINDOWS 10
我在磁盘上保存了1000个numpy数组( them = 500,30,3)，并尝试用np.load缓存它们，用memmap读取np.load来缓存它们。cache '.format((i+1)*1000)
浏览 0提问于2019-02-16得票数 4
回答已采纳
2回答
我必须处理稀疏矩阵，它有时会非常大，接近或超过RAM容量。我还需要支持mat*vec和mat*mat操作。因为在内部，csr_matrix是3个数组( data、indices和indptr )，所以可以从numpy memmap创建csr矩阵。
浏览 0提问于2018-04-14得票数 1
回答已采纳
1回答
我试图更好地理解numpy的memmap是如何处理非常大文件的视图的。下面的脚本打开内存映射的2048^3数组，并复制该数组的缩减采样的128^3视图from time import time
array = np.memmap(FILE, mode='r', shape=(2048,20
浏览 2提问于2012-08-07得票数 5
回答已采纳
问题：
我从文件中读取了几个小的numpy数组(每个大约10MB)，并对它们进行了一些处理。我想创建一个更大的数组(~1TB)，其中数组中的每个维度都包含来自其中一个较小文件的数据。任何试图在RAM中创建整个较大数组(或其中很大一部分)的方法都是不合适的，因为它会淹没RAM并使机器停机。因此，我需要能够初始化较大的数组并以小批的形式填充它，以便将每一批写入磁盘上的较大的数组。我最初认为numpy.memmap是可行的，但当我发出如下命
浏览 0提问于2014-10-06得票数 4
我们能够(仅在应用程序atm的上下文中)在Ubuntu15.04和OS上使用scikit 0.17进行复制，这是在较大的数据集中使用GridSearchCV和LogisticRegression时出现的问题tol=0.0001, verbose=0, warm_start=False), X=memmap([[ 0.00000000e+00, 1.29659900e+06, 5...000000eestimator, X, y, cv, scorer):
ValueError: scoring must return a number, got
浏览 2提问于2016-01-18得票数 1
回答已采纳
我正在尝试用numpy memmap创建一个大文件C:\Users\nuria\AppData\Local\Continuum\anaconda3\envs\caiman\lib\site-packages\numpydims[1:]), len_im), order=order)
~\AppData\
浏览 9提问于2018-07-31得票数 0
2回答
是否有方法将numpy memmap数组保存到.npy文件中？显然，有一种方法可以从.npy文件中加载这样的数组，如下所示但是，刷新文件并不等同于以.npy格式存储文件。如果冲洗是唯一的方法，那么是否有办法推断存储数组的形状？我更喜欢在另一个脚本中自动存储和检索动态形状(可能再次作为memmap )。
关于这件事，我找了很多地方，但没有得
浏览 5提问于2016-04-21得票数 8
回答已采纳
1回答
我有一个时间戳数组，在矩阵X的第二列中每行增加一次。我计算时间戳的平均值，它大于最大值。我使用numpy memmap进行存储。为什么会发生这种情况？>>> self.X[:,1] 1.45997146e+0909, 1.45997939e+09], dtype=float32)
>>> np.mean(s
浏览 4提问于2016-04-10得票数 6
在试图在大型ndimage.convolve上执行numpy.memmap时，会出现异常：似乎convolve创建了一个常规的numpy数组，它不适合内存。
浏览 14提问于2022-07-10得票数 0
回答已采纳
1回答
目前，我正在使用一个包含2,000,000 * 33 * 33 *4 (N *W*H* C)数据的NumPy memmap数组。我的程序从这个数组中读取随机(N)索引。有什么方法让我告诉memmap最大限度地使用IO和RAM吗？
浏览 11提问于2016-09-06得票数 2
回答已采纳
我一直在常规的Numpy数组上这样做，但是在一个备忘录中，我想知道它是如何工作的。) * 100这就是我在正常的numpy数组上使用的。(len(arr1)) * 100arr2[:] = np.argsort(np.argsort(arr1,axis=0),axis=0) / float(len(arr1)) * 100
有什么
浏览 2提问于2014-08-29得票数 7
回答已采纳
2回答
我有一个大型的(75000×5×6000) 3D数组，存储为一个NumPy内存映射。如果我简单地遍历第一个维度，如下所示：import time
a = np.memmap(r"S:\bin\Preprocessed\mtb.dat", dtype然而，当我试图在一个更大的程序中迭代相同的memmap时，对memmap的单个调用将花费多达0.1秒的时间，而提取所有75000条记录将花费近10分钟的时间。更大的程序太长，无法在这
浏览 8提问于2017-03-17得票数 1
假设我用一个np.float32类型数组的列表来表示它们(我将把所有的代码放在下面的最小示例中)。对于备用单元格，我将定义dtw函数来创建一个随机矩阵，并返回最后一个单元格(行和列)中的值。import numpy as np
n = 20000
x操作的数量(在本例中为4亿，因为在20000个样本中都是对的)
我的计算机的内存(64 GB)，有什么</em
浏览 2提问于2022-05-25得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
