我试图用sklearn.metrics.pairwise.cosine_similarity来计算一个sklearn.metrics.pairwise.cosine_similarity矩阵。输出矩阵可能为60k*50k。但是，它返回一个带有32G内存的MemoryError。我正在考虑给我的服务器增加更多的内存，但是我想估计我还需要多少内存。
谢谢。
浏览 3提问于2016-10-19得票数 2
回答已采纳
1回答
我们处理由285*384像素相机拍摄的照片，不同的参数根据我们搜索到observe.Therefore的内容而变化，我们需要处理大矩阵，随着数据处理的进行，矩阵分配的累积使得内存/交换空间被填满，因此我们不能再前进了然后，我们必须分配许多其他矩阵来计算与此矩阵对应的时间平均值(大小为285*384*16,100是时间维度)，然后我们需要对数据进行线性拟合，因此我们有2个100*285*384*16矩阵(线性拟合需要两个估计参数当然，随着数据处理的深入，我们可以
浏览 0提问于2014-07-01得票数 2
1回答
我有两个矩阵，其中变量是列，两个矩阵都有相同的样本数。import numpy as np
xc = x.shape[1]然而，这最终占用了大量的
浏览 0提问于2017-01-08得票数 3
回答已采纳
1回答
我需要在我的电脑上做一些矩阵运算。这些矩阵很大，1000000x1000000甚至更大，有些操作需要TB的内存。显然，这些数据不能直接加载到内存中并进行计算。在我的计算机上，我可以使用什么方法来求解这些矩阵？假设矩阵不能使用矩阵优化进一步减少，并且已经以紧凑的形式存储。我正在考虑使用一些内存映射方案，但需要一些想法。
浏览 0提问于2010-09-20得票数 4
回答已采纳
1回答
我试图在R中创建一个大的矩阵，并用一个拟合模型的预测值填充它。我在远程服务器上创建了矩阵，并使用for循环来填充它。~/pred") pred[i,] = as.vector(intercept+beta%*%data[i,])实际的.bin文件位于远程服务器上然而，在我的计算机上，填充矩阵的过程仍然占用了大量的物理内存。我怎么才能避免这种情况？
浏览 3提问于2013-12-30得票数 0
回答已采纳
1回答
用火花相乘两个巨大矩阵
、、、、
我想要计算矩阵W，它定义为W=B*H'*inverse(R + H*B*H')，这里每个变量都是一个矩阵，
和eb矩阵大小是4000000*1，所以我的B矩阵大小400000*400000现在的问题是存储这个总文件，我目前使用的是
浏览 2提问于2014-10-25得票数 1
1回答
我正在考虑使用Boost的稀疏矩阵进行以最小内存使用为目标的计算。不幸的是，当我浏览时，它没有包括关于稀疏矩阵实现的内存使用的讨论。我也不确定如何确定稀疏矩阵在任何给定时间使用了多少内存。稀疏矩阵将使用多少内存？你能引用一个消息来源吗？
如何找出矩阵在给定时间t使用了多少内存？
浏览 1提问于2012-02-15得票数 1
4回答
Java矩阵处理时间
、、、
我开发了一个程序来做矩阵计算。它能很好地工作在小矩阵上。但是，当我开始计算数千列行矩阵时。它杀死了速度。我想对每一行进行处理，然后将结果写入文件中，然后释放内存，开始处理第二行，然后写到文件中，诸如此类。我知道柯尔特和贾玛矩阵的事。由于公司的规定，我不能使用这些包。
在我的程序中，我将所有的矩阵存储在二维数组中，如果矩阵很小
浏览 6提问于2010-08-27得票数 0
1回答
嘿，假设我有一个问题，每个线程都计算一些东西(从常量内存中读取一些参数并使用它们进行计算)，然后将其存储到全局内存矩阵中。这个矩阵永远不会被读取，只是写入访问...现在是否可以先使用共享内存将所有计算值存储在全局内存中，然后再将它们写入全局内存？我认为不是，因为对全局内存的写入完全保持不变，所以对共享内存的写入只是添加到我之前已经有的写入。谢谢!
浏览 3提问于2011-05-17得票数 0
回答已采纳
1回答
分块矩阵-向量乘法
、、、
给出了具有nnz(A)非零的非常稀疏的nxn矩阵A和稠密的nxn矩阵B。我想计算矩阵乘积AxB。由于n很大，如果简单地执行，就不能将稠密矩阵B放入内存中。我有两个选择，但不确定哪一个更好。将矩阵B分解为n列向量[b1,b2,...,bn]。然后，我可以将矩阵A和任意一个向量bi放入内存中，并分别计算A*b1, A*b2, ..., A*bn。
Option2。将矩阵A和B分别划分为4个n/
浏览 3提问于2013-10-18得票数 0
2回答
来自快速病房也做同样的事..。指定'SaveMemory‘为'on’来构造集群，而不计算距离矩阵。否则，如果机器没有足够的内存容纳距离矩阵，则可能会收到内存不足的错误。”我在Python中寻找类似的东西，但它们似乎都需要提前计算的距离矩阵(对于275
浏览 8提问于2020-02-11得票数 0
回答已采纳
我正在编写程序，但由于矩阵的大小太大，内存不足，无法计算。还有别的方法吗？例如，数据可以存储在虚拟内存或HDD中而不是RAM中吗？
我正在编写程序，但由于矩阵的大小太大，内存不足，无法计算。
浏览 8提问于2022-12-01得票数 0
1回答
我使用垫子解析和cublas计算一个稀疏密乘法:C=A‘* B。A是M*N稀疏矩阵M= 9,633,792，N= 617,004，nnz为28,901,376，S=3
A‘= At以CSR格式存储，使用cusparseScsrmm2计算At *( B’)‘，转置B以改善矩阵B的内存访问，根据文档，如果op(B) = B^T，只支
浏览 3提问于2016-07-03得票数 2
我使用了一个800,000x350,000矩阵的，比方说它的M。我想计算点积M * M[0:x].T。现在，取决于x的值，内存消耗会增加。x=1并不明显，但是如果x=2000的乘法过程需要大约8G的内存。
我想知道当我计算这个产品时会发生什么，为什么与存储稀疏矩阵(大约30 it )相比，它需要这么多内存。矩阵是为乘法展开的吗？
浏览 7提问于2016-01-29得票数 3
回答已采纳
1回答
在函数"cov"中引入Matlab，计算给定矩阵C的协方差矩阵。如果C太大，例如1000*60000双倍，而我的计算机内存不足，则需要编写一个函数来计算给定矩阵C的块或块的协方差矩阵。我的问题是如何计算块/块的协方差矩阵？假设给定矩阵的大小为1000*60000双倍，我的计算机无法使用"cov"函数来处理。
浏览 3提问于2015-08-05得票数 0
回答已采纳
1回答
在Windows平台上，我需要对A、B执行一系列类似乘法的操作，特别是计算内核矩阵。然而，问题是A和B都可能非常大，比方说，20000乘以360000。而我的服务器只能提供96 GB的内存。让它们同时在内存中并进行计算似乎是不可行的。那么，有没有什么好方法可以有效地处理这么大的乘法呢？顺便说一句，结果的大小是20000乘20000，比乘法器小得多，可以正确地放入内存中。我想知道把它们转换成稀疏矩阵是不是一个好的选择。但是，它可能在很大程度上取决于数据的
浏览 1提问于2014-01-15得票数 0
1回答
处理器的核心被充分利用(总是有工作要做)
下面的图像显示了每个微体系结构的触发器速率、峰值内存带宽和所需的计算内存比我还有一个例子，说明如何计算这个OP/B度量。下面是一个应用矩阵乘法的CUDA代码的一部分。for(unsigned int i = 0; i < N; ++i) {
sum += A[row*N + i]*B[i*N + col]
浏览 8提问于2020-02-16得票数 1
回答已采纳
2回答
有效的稀疏对称矩阵计算
、、、
我必须进行大量这样的计算：X=1xn矩阵Xt =nx1矩阵，转置X，即X[np.newaxis我的问题是对于大n，由于内存问题，我不能存储和使用矩阵Y。我仅限于使用一台机器，所以分布式计算不是一种选择。我突然想到Y有两个特性，理论上可以减少存储Y所需的内存量：
我如何在
浏览 3提问于2018-01-13得票数 4
回答已采纳
1回答
我需要这样计算: Ax = sum{from z=0 to z=n}{Bxz+Cxz}，其中矩阵A的维度是高度，矩阵B的维度是高度，矩阵C的维度是高度。; ++x) { index++;我希望每个块都计算一个和，因为每个块都有自己的共享内存blockDim.y]
+ C[blockIdx.x + blockIdx.y*gridDim.y+thread
浏览 1提问于2012-04-01得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
