1回答
我试图更好地理解numpy的memmap是如何处理非常大文件的视图的。下面的脚本打开内存映射的2048^3数组，并复制该数组的缩减采样的128^3视图from time import time
array = np.memmap(FILE, mode=&#
浏览 2提问于2012-08-07得票数 5
回答已采纳
我是从一个70 it的内存映射数组中读取的，但只使用了其中的大约300MB。从的回答中了解到，memmap实际上并不使用物理内存，所以我认为我应该将所需的数组复制到物理内存中以获得更好的性能。然而，当我np.copy()一个memmap和np.info()复制的数组时，这个类就是一个memmap。抛开这种猜测不谈，我发现使用复制数组时内存使用率更高，性能也有所提高
浏览 19提问于2017-02-06得票数 3
回答已采纳
1回答
我在理解numpy.memmap的工作方式时遇到了问题。背景是，我需要通过删除条目来减少保存在磁盘上的大型numpy数组。读取数组并通过复制所需的部分来构建一个新的数组是不起作用的-它只是不适合放入内存中。所以我们的想法是使用numpy.memmap --即在光盘上工作。这是我的代码(有一个小文件)：
in_file = '.
浏览 5提问于2017-08-08得票数 0
我有内存方面的问题，我想缩小我加载的数据的大小(不幸的是，使用read_stata()不能只有几行)。我能不能更改下面的代码，只对X和y使用一些行，而不是复制一份？这将是，即使暂时失败的目的，我想节省内存，而不是增加我的足迹。或者可能首先缩小数据的大小(如果您指定的大小小于原始大小，“`reshape”是否会在没有副本的情况下执行此操作？)然后再选一些专栏？
浏览 2提问于2014-06-24得票数 2
我刚开始使用numpy.core.memmap对象，很难弄清楚如何编辑使用numpy.memmap()读取到python中的现有.npy文件。例如，按照Scipy.org的示例，我可以创建一个对象并对其进行写入，但是一旦创建，我就无法修改内容。w+', shape=(3,4))
fpc = np.memmap我也尝试
浏览 1提问于2018-02-09得票数 0
回答已采纳
1回答
我正在执行一个矩阵的点积50000行和100列与它的转置。矩阵的值以浮点数表示。A(50000,100) B(100,50000)
使用网点产品时，上面有什么问题吗？在大
浏览 4提问于2014-06-30得票数 2
考虑一下这个例子：a = np.array(1)print(type(b))<class 'numpy.core.memmap.memmap'>
<class 'numpy.int32
浏览 0提问于2018-04-22得票数 0
回答已采纳
我已经开发了一个模型，它使用了几个大的三维数据集(1e7，10，1e5)，并在这些数据集的切片上进行数百万次读取(和数千次写入)调用。到目前为止，我找到的进行这些调用的最好工具是numpy.memmap，它允许将最少的数据保存在内存中，并允许干净的索引和非常快速的直接在硬盘上调用数据。numpy.memmmap的缺点似乎是性能参差不齐--读取数组片段的时间在两次调
浏览 29提问于2020-10-14得票数 0
回答已采纳
1回答
给定一个对象或类型，我可以使用inspect包获得对象的模块在这里，给定一个函数，我得到了包含该函数的模块：<module 'numpy.core.memmap' from ...>
然而，我真正想要的是获得与包相对应的顶级模块，在本例中是numpy而不是numpy.core.memmap。&
浏览 3提问于2017-04-18得票数 2
回答已采纳
用零初始化numpy.memmap数组吗？这个文件在哪里？是否可以将已经存在的旧 numpy.memmap文件(以前脚本的执行中的)的内容加载到新的numpy.memmap中，而不是由零代替？谢谢!
浏览 5提问于2015-08-15得票数 2
回答已采纳
1回答
我有一个使用numpy记忆映射的矩阵乘法码 fA = np.lib.format.open_memmap('A.npy', dtype='uint8', mode='r+')
#need to
浏览 3提问于2014-05-07得票数 3
回答已采纳
1回答
我正在一个大型图像数据集上执行信号处理任务，将图像转换为具有一定结构的(number_of_transforms, width, height, depth)的大特征向量。特性向量(或代码中的coefficients )太大，无法同时保存在内存中，因此我尝试将它们写入np.mmap中，如下所示： output_locationcoefficients_sample = transform(images[n])
coefficients[n, :, :, :
浏览 3提问于2017-11-09得票数 0
回答已采纳
3回答
是否可以在不知道形状的情况下加载numpy.memmap并仍然恢复数据的形状？data = np.arange(12, dtype='float32')fp = np.memmap(filename, dtype='float32', mode='w+', shape=(3,4))del fp
newfp = np.memmap(filename, dty
浏览 9提问于2016-04-20得票数 5
回答已采纳
我使用的是大型矩阵，所以我使用的是NumPy的备忘录。但是，由于memmap使用的文件描述符显然没有被关闭，所以我得到了一个错误。import numpywhile True: map = numpy.m
浏览 1提问于2009-10-05得票数 5
回答已采纳
2回答
是否可以将少量的元数据附加到numpy memmap文件中？唯一缺少的是向文件中添加少量元数据的能力。set", "training set"]
partition_sizes = [30000, 10000, 10000] # last number redu
浏览 2提问于2015-06-24得票数 2
1回答
迭代大型npz文件的有效方法
、、、、
我有50000+ npz文件(文件大小为15MB)，每个文件都有三个numpy数组A、B、C。A是形状(33000，)的numpy阵列；B是形状(33000，)的numpy阵列，C是uint8类型的形状(33000,224,224)的位阵列。有没有一种有效的方法来解析这些记录？ 编辑:我尝试使用内存映射的numpy数组，但似乎没有提高性能，因为它们只对npy文件有效。 编辑:需要对我提出的<
浏览 21提问于2019-03-15得票数 0
我需要创建一个非常大的字节数组(~30 GB)，但是当我创建它时，我会得到一个内存错误，因为没有足够的RAM来存储它。问:在python中创建这样一个对象是否可能具有相同的属性(可更改性和访问任意偏移量的能力)，但在它为空时不会占用内存中的空间？我需要用少量的数据在任意的地方填写。
浏览 2提问于2022-02-06得票数 0
我已经了解np.memmap了，这是一个潜在的解决方案，但是创建一个memmap然后使用np.save(filename, memmap)保存数组意味着我需要加倍的磁盘空间需求，即使只是短暂的，这并不总是一种选择首先，我不想使用memmap，因为.npy文件中的头信息(即shape和dtype)很有用。
我的问题是，我可以创建一个numpy文件而不需要首先在内存中创建它吗？也就是说，我可以通过只提供
浏览 6提问于2020-08-21得票数 0
回答已采纳
1回答
我正在处理大数据，而且我的矩阵大小类似于2000x100000，因此为了更快地工作，我尝试使用numpy.memmap来避免由于内存的限制而将这么大的矩阵存储在内存中。问题是，当我将相同的矩阵存储在两个变量中，即一个变量是numpy.load变量，另一个变量是np.memmap变量时，内容是不一样的。这是正常的吗？我在memmap中使用与我的数据相同的数据类型。示
浏览 3提问于2014-12-10得票数 11
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号