1回答
我有一个项目要做，我必须解释MapReduce是如何工作的。
这个名字本身就是"MapReduce框架“，这就是问题所在。这是什么意思？?有人能给我举个例子，向我解释一下这个框架在哪里(互联网、云、工作节点……)。
非常感谢。
浏览 8提问于2016-04-07得票数 0
回答已采纳
如何将多台计算机作为一台计算机运行？即，一个发出命令的“主机”和一个或多个执行其被告知要做的事情的从机。另外，超级计算机中的分布式计算系统是如何做到这一点的？
编辑:我找到了，和，现在我想知道，有没有类似的东西可以运行并行程序，比如散列破解？主要是为这些类型的云计算系统设计的软件。
浏览 0提问于2011-05-13得票数 1
回答已采纳
1回答
我正在尝试使用doSMP包在R中进行并行编程。这是我写的代码片段，用来测试每个MC复制是否从相同的种子开始，以及RNG是否会给相同的数字提供相同的随机数。我希望每个MC复制都是随机的(我在run.MC.replicate中生成随机数)。我该如何解决这个问题呢？
par.mc.result<- foreach(mc =1:nmc,.packages=c("MASS") ) %dopar% {
source("./src/simulation_math_util_fn.R")
source("./src/oosMDS.R")
浏览 2提问于2011-05-07得票数 2
关于面向消息的中间件，我指的是诸如这样的技术。
显然，AMQP与MPI不同，但我认为以主从方式操作的分布式内存计算可以使用AMQP进行琐碎的实现，让AMQP在奴隶完成任务时处理公平的工作分配，而不是在主服务器中显式地管理工作队列。
AMQP的另一个好处是(如果有数千台机器协同工作)，一台机器的死亡不会阻碍MPI_Bcast的计算进程，因为AMQP可以使用扇出而不是MPI_Bcast，这将是对整个计算过程的非阻塞。
在分布式计算中，是否有使用AMQP进行任务协调的例子？
更新： 提供了一种非常好的容错分布式计算方法。
浏览 4提问于2010-10-01得票数 4
回答已采纳
我以前从未使用过并行计算。这就是为什么我的问题会很愚蠢。我有一个最小二乘函数"bla“的优化程序。
d=@(p)bla(m1,m2,m3,p,m2,m3);
pstart=0.2;
[pbest,likemodelvalue]=fminsearch(d,pstart,options)
但它的速度非常慢。对于"p“的每个值，我可以使用fminseach的并行编程吗？
浏览 0提问于2013-01-24得票数 2
在使用插入符号：：train()运行逻辑回归模型时出现问题。LR = caret::train(Satisfaction ~., data= log_train, method = "glm", preProcess = c("scale"), family="binomial")
继续获取以下错误行：
summary.connection中的错误(连接)：无效连接
这个错误对我来说是新的，因为当我以前运行这段代码时，我没有看到任何问题。请帮帮我！
浏览 7提问于2020-10-25得票数 8
1回答
互联网上有很多定义，但我在这里问，仅仅是因为有人可能会根据他/她对这些技术的实际经验来简短地回答这个问题。
云计算(我在这里指的是开放堆栈、亚马逊ec2、)、网格计算和并行计算有何不同?未来的趋势是什么，谁将是赢家。我自己的理解是，在私有云中，运行传统上需要计算网格的工作负载是可能的。
浏览 0提问于2016-01-08得票数 -1
回答已采纳
1回答
我有一个函数来计算适应度值，比如func()。在我的实现中，我使用MPI进行并行化。
MPI集群中有3台机器通过局域网连接。这些机器安装有NFS协议。内存不在这些机器之间共享。
主while循环运行500次。
在这个while循环中，我使用MPI并行化9个func()调用。这意味着，在main循环中调用9次func()，我并行化了三个节点中每个节点调用3个func()调用并将结果返回给主节点的方式。
这在while循环中继续了500次。(这意味着，在每个下一个循环中，同样有9个func()调用被并行化)
这种策略称为并行计算还是分布式计算？
考虑到定义，并行计算是并行中的多个任
浏览 2提问于2022-03-07得票数 0
回答已采纳
1回答
我想让一个程序在一个(raspberry pi )计算机集群上运行，其中一个pi只执行视频内容，而另一个只在一个主程序(如AI )下处理音乐等。我朝正确的方向走了吗？这不是并行计算吗？
浏览 0提问于2016-02-10得票数 0
2回答
我编写了一些MATLAB代码，根据人工智能方法对声音进行分类。
现在，我想在云上使用相同的程序。
我是否需要将代码转换成其他编程语言，还是可以在云中使用相同的MATLAB代码？
浏览 4提问于2014-04-03得票数 1
回答已采纳
我正在使用Matlab并行计算工具箱开发一个并行应用程序。我想知道我是否可以使用Matlab Coder for C/C++转换应用程序？用Matlab并行计算工具箱开发的并行应用程序能否被Matlab Coder转换成C/C++？
浏览 4提问于2013-01-20得票数 1
回答已采纳
我正试图在木星笔记本上做平行的工作。希望有人能告诉我该做什么或者该学什么。
在我的木星笔记本中，我会从1到10循环一个参数，这会传递给另一个py脚本。我想要的是让我的电脑用一个任务来完成每个参数。我相信，有了这一点，我会加快效率。
这是我的木星笔记本里的东西：
import os
from time import time
start_1 = time()
# parameters
file = 'Tool_1.py' # the single py script which I would run in a single loop
file_1 = 'my_data.
浏览 2提问于2017-11-16得票数 1
我正在研究GPU计算，我不知道的技术/性能差异是什么之间的NVIDIA 6000和NVIDIA C2075显卡。它们都有6GB的RAM和相同数量的计算核。那有什么区别？我想用这张卡做CUDA计算。
编辑:请，如果Nvidia说X卡对气候计算很好，卡片y对地震处理来说是很棒的，而这只是PR。没有为气候计算制作的图形卡。一张卡要么适合单张或双精度计算，要么适用于FFT等。这正是我想问的问题:技术上的差异是什么?对于哪种计算，我希望在一张卡上比另一张卡上得到更快的结果。
浏览 11提问于2011-10-12得票数 4
回答已采纳
我遇到了达斯克的问题，我在潘达斯身上看不见。我在谷歌云的笔记本上读过小数据集。
df被保存为一个数据文件，我现在删除源'data_iris.csv‘文件，它显示文件找到的错误。
如何克服它，因为我想删除文件后，保存到数据。
浏览 2提问于2021-09-30得票数 2
回答已采纳
1回答
有没有促进异步网络IO的R-project包？我的想法类似于Ruby的Eventmachine或者Python的Twisted。如果有几个这样的包/库，那么哪一个是最好的：-性能-特性
浏览 2提问于2009-09-08得票数 1
回答已采纳
1回答
我正在学习用于数值计算的python多处理，这里是我实现的示例代码，我猜问题应该是对map参数的错误使用。 def pow(a):
c = np.zeros(a.size)
for i in range(a.size):
c[i] = a[i] ** a[i]
return c
if __name__=='__main__':
n = int(1e6)
data = np.random.sample(n)
pool = mp.Pool(processes=8)
results = po
浏览 62提问于2019-10-15得票数 1
1回答
我想用numpy创建一个大小为10^15的向量，并用随机数填充它，但我得到了以下错误：
超出了允许的最大维度。
如果我使用MPI会有帮助吗？
谢谢
浏览 10提问于2020-05-05得票数 0
2回答
在R中是否有并行计算的矩阵求逆软件包？
谢谢!
你好。我在安装HiPLARb包时遇到了困难，下面是我所做的工作：
下载自动安装程序脚本：
./HiPLARb.Installer --with-openblas --no-gpu --prefix=/home/kaiyin/mylib一切顺利，所有的先决条件库都已成功安装，R2.15.2的补丁版本也是如此
从下载软件包
修改shell路径，将修补的R目录放在前面。
R CMD INSTALL --configure-args="--with-lapack= \
-L/home/kaiyin/mylib/lib\ -lopenblas
浏览 5提问于2013-03-19得票数 2
1回答
我遇到的问题是，我必须计算形状之间的欧几里德距离矩阵，这个矩阵可以从20,000到60,000点不等，产生10-20 of的数据量。我必须运行每一个计算数千次，这样20 to x 7,000 (每次计算是一个不同的点云)。形状可以是2D的，也可以是3D的。
编辑(更新问题)
有没有一种更有效的方法来计算向前和向后的距离而不使用两个单独的嵌套循环？
我知道我可以保存数据矩阵并计算每个方向上的最小距离，但是对于大点云，存在一个巨大的内存问题。
是否有办法加快计算和/或清理代码以缩短时间？
讽刺的是，我只需要矩阵来计算一个非常简单的度量，但它需要整个矩阵才能找到该度量(平均Hausd
浏览 1提问于2017-11-09得票数 6
我在两台运行Matlab的计算机(Macbook Pro i5和Macbook Pro i7)上安装了Matlab并行计算工具箱。对于一个论文项目，我们必须进行模拟拍摄，为此我需要大量的计算机能力。我知道parfor的matlabpool选项可以使用我本地计算机上的两个内核。有没有办法通过以太网线或集线器直接连接两台macbooks，并配置一个小型本地网络，这样我就可以同时使用四个内核？如何设置？
浏览 8提问于2012-10-04得票数 2
1回答
我正在探索R中的并行编程，我对foreach函数的工作原理有很好的理解，但我不明白parallel、doparallel、doMC、doSNOW、SNOW、multicore等之间的区别。
经过大量阅读，我发现这些软件包的工作原理因操作系统而异，我看到一些软件包使用多核这个词，而另一些软件包使用集群(我不确定它们是否不同)，但除此之外，还不清楚它们各自有什么优缺点。
我在Windows上工作，我想使用复制权重并行地计算标准误差，这样我就不必一次计算一个复制(如果我有n个核心，我应该能够一次做n个复制)。我可以使用doSNOW实现它，但是看起来plyr和R社区一般都使用doMC，所以我想知道使用
浏览 2提问于2015-10-22得票数 0
1回答
我需要找到另一种方法来实现通过使用ForEach子系统获得的输出。目前，在我的模型中，我使用ForEach子系统提取一组输入并将其分配给相应的总线。有没有人能推荐一种替代的方法在Simulink中实现ForEach功能。
浏览 0提问于2015-12-03得票数 0
1回答
我只是在学习编程结构；特别是我在研究并发程序。我读过几篇文章，其中并发程序、并行程序和分布式程序之间的区别似乎很混乱。
我的理解如下：
并发程序:同时执行几个任务或给出这样做的概念
并行程序:解决这类问题的算法允许一些相关的任务同时执行
分布式程序:与相应算法中的固有并行性相比，更多地与可用资源有关。不止一种计算资源可用于解决该问题。
有人能告诉我这些术语的正确和详细的解释吗？
浏览 2提问于2011-10-15得票数 4
回答已采纳
我试图理解这个论点的作用，AdamOptimizer的的compute_gradients方法这样说-
colocate_gradients_with_ops：如果是的话，试着用相应的op来计算渐变。
但我不太清楚。在这种情况下，共分梯度意味着什么?所述op是什么？
浏览 3提问于2018-02-12得票数 3
回答已采纳
1回答
如何在gpu上训练haar级联
、、、、
我正在尝试使用opencv的opencv_traincascade方法训练一个级联。但程序在CPU上运行时速度非常慢。有没有办法我可以在GPU上的程序更快的训练。我试着点击这个链接
python，但后来意识到它不适用于，至少根据这个链接。但该人士也提到，可以将opencl与python一起使用。
有没有什么办法可以让我使用opencl在GPU上训练级联？
提前感谢
浏览 1提问于2018-08-31得票数 0
1回答
我用Python编写了这段代码，用于使用Shu Radcliffe方法进行四杆机构的运动学综合。正如你所看到的，有几个for循环，很快就会变成3 o 4。现在在一个有16个CPU (32个线程)的工作站上完成代码的执行大约需要40分钟，而且当Python运行时，CPU的使用率非常低。
我正在使用numpy和数学。
我想知道在Python中是否有一种方法可以使用多个GPU和/或GPU (CUDA)来运行for循环。
for th_12 in th_12_range:
for th_13 in th_13_range:
r_2=x_2-x_1*cos(th_12)+y_
浏览 1提问于2014-05-03得票数 0
1回答
对我来说，分布式计算和并行计算之间的区别并不是很清楚。这学期我有一门“分布式系统”课程，当然还有一个项目需要我去做。我对安全很感兴趣，所以我选择了一个与安全相关的项目，我选择了一个密码破解系统，请不要误会，这是为了教育目的！
该系统由多个处理器/计算机组成，其中每台计算机将接收破解散列密码的请求，然后如果计算机忙(可能正在处理其他密码)，它将把该请求移交给它的对等体之一(通过相同网络连接的一些计算机)，并且如果该计算机是空闲/空闲的，它将处理该请求。
我想知道这个机制是分布式的还是并行的。有些人可能会认为这是一种协作计算。请给我指引正确的路。
提前感谢:)
浏览 1提问于2011-04-18得票数 2
回答已采纳
有没有办法同时运行两个不同的代码块。我一直在研究R中的并行包，它们似乎都是基于在循环中运行相同的函数。我正在寻找一种同时运行不同函数的方法(循环的1次迭代)。例如，我想在某个数据对象上创建一个模型，同时在另一个对象上创建另一个模型。我可以通过启动R的另一个实例来做到这一点，但我更愿意将其全部保存在同一个脚本中。这个是可能的吗？我很感谢你的建议。
浏览 0提问于2014-02-03得票数 4
如何在dolphindb中进行并行计算？
我测试了一个包含大约一百万个数据的低容量表。所以我创建了一个内存中的表。我想知道我可以在内存表中进行并行计算吗？我应该将它保存到分区表中吗？
浏览 11提问于2021-05-14得票数 0
在Spark中，可以为RDD提供自定义的Partitioner。通常，生成的分区被随机分配给一组工作人员。例如，如果我们有20个分区和4个工作人员，每个工作人员将(大约)得到5个分区。但是，将分区放置到工人(节点)似乎是随机的，如下表所示。
trial 1 trial 2
worker 1: [10-14] [15-19]
worker 2: [5-9] [5-9]
worker 3: [0-4] [10-14]
worker 4: [15-19] [0-4]
对于单个RDD上的操作来说，这是很好的，但是当您使用跨越多个RDD的
浏览 1提问于2017-06-07得票数 3
据我所知，Hadoop正在将大文件拆分成块这些大文件可以是文本或图像，如果我取消拆分功能会怎么样？这会影响Hadoop的性能吗？
浏览 1提问于2015-05-12得票数 0
1回答
我正在尝试并行化DES，但几乎没有得到任何加速。并行处理s-box部件并不能加快速度，而是在多项式时间内运行。以下是DES的s-box部分：
int row[8],col[8],val[8];
//s box parallelism
#pragma omp parallel for num_threads(8) schedule(static)
for (int i = 0; i < 8; i++) {
//the value of '0' is 48, '1' is 49 and so on. bu
浏览 8提问于2021-12-15得票数 0
建议存在包含8个字节的二进制流
我想获取一个新的流，其中包含以下内容：
获取每一位的每一位以形成第一个字节
取每一位的每一位以形成第二个字节
……
取每一位的每8位组成最后一个字节
就像python中的zip()，但是是二进制形式的。
这是我的代码
//create example data
var ba:ByteArray = new ByteArray();
for(var i:int=0;i<8;i++){
ba.writeByte(Math.random()*256);
}
b
浏览 1提问于2013-09-04得票数 0
1回答
我正在我学院的GPU服务器上工作，计算能力小于3.0，Windows 7专业版，64位操作系统和48 GPU内存。我之前尝试过安装tensorflow，但后来我知道我的GPU无法支持它。我现在想在角角上工作，但是由于tensorflow不存在，所以它能不能工作，因为我也不能导入它？
我必须做视频处理和工作的大视频数据集的动态手语识别。有人能建议我怎样才能在这样的GPU服务器的深度学习领域取得进展吗？或者，如果我只想在CPU上工作，那么在这个视频处理领域会有什么问题吗？
我还有一台带有Windows10Pro的HP ProBook440 G4笔记本电脑，所以它比我的GPU服务器好吗？
我对这一领
浏览 1提问于2018-06-09得票数 1
回答已采纳
2回答
我正在做一个项目，在这个项目中，我需要一个接一个地处理视频，并运行我的算法来提取分数。问题是视频处理的时间太长了。我尝试在几个地方使用parfor并行化代码，但性能仍然很差。如何提高性能？有没有缓存帧的方法？我正在读取每一帧并对其进行处理。欢迎任何建议。
浏览 2提问于2013-02-15得票数 0
回答已采纳
1回答
我正试图在我的图像集上使用一个预先训练过的模板，方法是在下面的教程中使用：
只有当我运行代码和控制台锁定时，我总是得到这个“错误”：
[W ParallelNative.cpp:206] Warning: Cannot set number of intraop threads after parallel work has started or after set_num_threads call when using native parallel backend (function set_num_threads)
谢谢你的帮助，
浏览 4提问于2020-11-10得票数 19
我刚刚开始在Python中使用Pypar进行并行编程。我可以得到一个简单的脚本来并行运行，这很酷，我也可以让matplotlib工作，但如果我尝试：
import matplotlib
并通过Pypar运行它，我得到：
ImportError: No module named matplotlib
感谢你的帮助..
浏览 1提问于2011-05-11得票数 1
我有几个相同形状(300000x300000)的大型tables.carray数据结构。我想将所有数据相加，并将其存储在主矩阵中。
现在，我创建了一个新的carray，并用一个简单的循环填充它：
shape = (300000,300000)
#... open all hdf5 files of the existing matrices and create a new one
matrix = h5f.createCArray( h5f.root, 'carray', atom, shape, filters=filters )
for i in range( shap
浏览 1提问于2013-06-11得票数 0
下面是我试图实现的逻辑，但我发现用MongoDB/ Node.js应用程序真的很难找到一种方法
Data: country, state, val1
我需要计算均值和标准差。使用下面的公式计算偏差。我检查了其他堆栈溢出帖子，但我正在使用的std dev公式并不相同：
for each row -> group by country, state
mean = sum(val1)/count ->
for each row ->
deviation += Math.pow((val1 - mean), 2)
for each row -> group b
浏览 2提问于2013-03-03得票数 0
回答已采纳
1回答
我对并行计算的概念很陌生。
(我试图在一个脚本上应用，在这个脚本中，循环构建几个回归模型大约1000次，每次都根据这些模型的系数进行预测。每一种情况下的数据集都太大，模型包含虚拟代码和权重，从而进一步减慢了处理速度。因此，我试图应用foreach而不是“for”循环。)
我正在尝试使用doParallel和foreach库，并使用registerDoParallel()设置核数。我有一台Windows 10机器。我的理解是，像detectCores()和Sys.getenv('NUMBER_OF_PROCESSORS')这样的调用将返回“逻辑处理器”的数量，而不是核心：
浏览 1提问于2017-01-09得票数 1
回答已采纳
注意:我把这个问题修正到了我的代码现在运行的地方，但是我不知道为什么这个解决方案会起作用。任何反馈都是很棒的。请参阅下面的编辑。
我在并行包中遇到了一个问题，我认为是data.table。昨晚，我的密码运行良好。然而，现在我得到了这个错误：
Error in unserialize(node$con) : error reading from connection.
除了相同的断言失败之外，还重复了no_core次数，其中no_cores是我在集群中使用的核数：
Assertion failure at kmp_runtime.cpp(6480): __kmp_thread_pool ==
浏览 0提问于2018-04-13得票数 2
2回答
我建立了一个神经网络，并利用随机梯度下降的反向传播成功地训练了它。现在我转到批量训练，但我有点困惑什么时候应用动量和重量衰减。在理论上，我很清楚反向传播是如何工作的，我只是停留在实现细节上。使用随机方法，我所要做的就是在计算了梯度之后立即将更新应用于权重，就像在这个伪python代码中所做的那样：
for epoch in epochs:
for p in patterns:
outputs = net.feedforward(p.inputs)
# output_layer_errors is needed to plot the error
浏览 4提问于2014-11-15得票数 0
我希望在C++中高效地实现KL发散。(目前仅限CPU)。 非常类似于AES或FTT (快速傅立叶变换)，因此使用公共函数会导致硬件级别的优化(Intel AES和Intel FTT)。对于自然对数，是否有类似的东西，或者稍微更高的效率(ASM/C)，可以防止成功执行许多自然对数函数的瓶颈(如果它们存在)？ 相同的用例示例： .Many parallel and independent node executions; each one performing 20~ KL calculations from localized (not shared or pointer reffed) me
浏览 17提问于2020-10-11得票数 0
回答已采纳
阅读的小插曲。
下面两个代码块是一个并且是相同的吗？
library(doparallel)
no_cores <- 8
cl <- makeCluster(no_cores)
registerDoParallel(cl)
pieces <- foreach(i = seq_len(length(pieces))) %dopar% { # do stuff}
上面的内容和下面的一样：
library(doparallel)
registerDoParallel(cores = 8)
pieces <- foreach(i = seq_len(lengt
浏览 36提问于2017-08-20得票数 1
回答已采纳
我正在尝试定义一个架构，在这个架构中，多个Python脚本需要按需并行运行。想象一下下面的设置：
脚本请求者(web API) ->服务总线队列->脚本执行->结果回发到脚本请求者
为此，脚本请求者在队列上放置一个脚本请求消息，以及一个API端点，结果应回发到该端点。脚本请求消息还包含要运行的脚本的输入。
服务总线队列将生产者和消费者解耦。一组通用的“工作者”只是在队列上查找新消息，获取输入消息，并使用所述输入调用Python脚本。然后，它们将结果回发到API端点。但是，我可以使用什么策略来“运行Python脚本”呢？
浏览 3提问于2016-02-19得票数 0
1回答
这个问题已经被问过好几次了，但是仍然没有一个明确的答案。根据问题，原因是因为超构想超时。一些开发人员提交了一个关于这个问题的，但是我在线程上没有看到任何明确的解决方案。
我正在尝试使用NTAG216类编写MifareUltralight。我使用的是writePage方法，这就是错误发生的地方。
这是错误报告的一部分：
Error: java.io.IOException: Transceive failed at
android.nfc.TransceiveResult.getResponseOrThrow(TransceiveResult.java:52)
at android.
浏览 3提问于2016-01-08得票数 1
回答已采纳
如本所述，我在jupyter笔记本中使用R。它的工作很好。但是，当我使用mgcv库和bam安装GAM时，例如：
dat <- gamSim(1,n=25000,dist="normal",scale=20)
bs <- "cr"; k <- 12
b <- bam(y ~ s(x0,bs=bs)+s(x1,bs=bs)+s(x2,bs=bs,k=k)+
s(x3,bs=bs), data=dat, discrete=TRUE, nthreads=4)
jupyter笔记本电脑不同时利用多cpu。这在处理大数据时是有问
浏览 1提问于2022-03-04得票数 0
1回答
我目前正在从pandas groupby中挑选10%的样本，我正在执行同样的操作10次。
for i in range(10):
sampled = df.groupby(by=['month','year','id_n']).sample(frac=0.10, replace=True)
但每一次，它都会运行很长时间。有没有其他方法可以让它变得更快？
提前谢谢你
浏览 1提问于2021-04-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
