通过R中的ClusterExport并行导出列表
，可以实现在集群环境下并行导出列表数据。ClusterExport是一个R包，它提供了一种简单的方式来在集群中并行执行R代码。
在使用ClusterExport并行导出列表之前，需要先安装并加载ClusterExport包。可以使用以下命令安装ClusterExport包：
install.packages("ClusterExport")安装完成后，可以使用以下命令加载ClusterExport包：
library(ClusterExport)接下来，可以使用ClusterExport函数来并行导出列表数据。ClusterExport函数的参数包括要导出的列表对象和要导出的变量名称。例如，假设有一个名为my_list的列表对象，其中包含了多个变量，可以使用以下命令来并行导出列表数据：
ClusterExport(cl, list = my_list)在上述命令中，cl是一个已经建立好的并行计算环境，可以使用makeCluster函数来创建。list参数指定要导出的列表对象的名称。
通过ClusterExport并行导出列表数据的优势是可以加快导出过程，提高数据处理的效率。特别是当列表对象较大或需要处理大量数据时，使用并行计算可以显著减少导出时间。
ClusterExport并行导出列表数据的应用场景包括数据分析、机器学习、统计建模等需要处理大量数据的任务。通过并行计算，可以加速数据处理过程，提高工作效率。
腾讯云提供了一系列云计算产品，可以满足不同场景的需求。以下是一些推荐的腾讯云产品和产品介绍链接地址：
- 云服务器（CVM）：提供弹性计算能力，支持多种操作系统和应用场景。产品介绍链接
- 云数据库 MySQL：提供高可用、可扩展的关系型数据库服务。产品介绍链接
- 云原生容器服务（TKE）：提供容器化应用的部署、管理和扩展能力。产品介绍链接
- 人工智能平台（AI Lab）：提供丰富的人工智能开发工具和服务，支持图像识别、语音识别、自然语言处理等应用。产品介绍链接
- 物联网套件（IoT Hub）：提供物联网设备接入、数据管理和应用开发的一站式解决方案。产品介绍链接
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求进行。
相关·内容
我有这个可重现的R片段
rm(list=ls())
library(doSNOW)
f <- function(a, b) a+b
g <- function(c) f(c*c, c+c)
v <- c(1, 2, 3, 4, 5, 6)
cl <- makeMPIcluster(1)
cat( clusterApply(cl, v, g) )
stopCluster(cl)
我得到了以下错误消息：
Error in checkForRemoteErrors(val) :
6 nodes produced errors; first error: coul
浏览 0提问于2012-09-21得票数 14
回答已采纳
我有一个功能，每年创建每个国家的鱼类捕获图，并将该地图放入地图列表中，这取决于我喂食的年份：
fishtogram <- function(year) {
dfname <- paste0("carto", year) # name of the cartogram being made
map_year <- get(paste0("map", year), map_years) # 'map_year' contains one SpatialPolygonsDataFrame of a year of fishin
浏览 0提问于2018-02-07得票数 1
回答已采纳
1回答
有人能帮我理解一下为什么我的程序会产生这个错误吗？
正如这里所看到的，"pay.freq“显然是环境的一部分，那么为什么它找不到它呢？语法与"ts“的语法相同，可以在没有问题的情况下找到。
大圆圈部分覆盖单词功能，小圆圈部分覆盖单词情节。
cf.pro <- function(t=0,Tb=T,r=Y, k=1, PRFlag="P", freq="w",plot=0){ #Beregner exposure for alle tidspunkter med udgangspunkt
ts <- seq(0,30,1/
浏览 1提问于2014-09-08得票数 5
回答已采纳
2回答
当我使用foreach循环(使用%dopar%)调用自定义函数时，我遇到了问题。当我使用Linux时，并没有真正的问题，但是当我使用Windows时，无法找到自定义函数。这个问题很难用语言来解释，所以我举了一个小例子来说明。假设我有三个简单函数的集合，其中FUN2 (使用%do%)和FUN3 (使用%dopar%)调用第一个函数(FUN)：
FUN <- function(x,y,z) { x + y + z }
FUN2 <- function(a, b) {
foreach(i=1:3) %do% FUN(i, a, b)
}
FUN3 <- function(a,
浏览 8提问于2013-06-27得票数 21
回答已采纳
我试图在全局环境中未定义的另一个函数中使用parLapply。worker函数使用了我事先想要clusterExport的其他函数列表，这些函数在全局环境中也没有定义。我的问题是，这两个函数都将它们的评估环境导出到集群中，这是一个庞大且不需要的集群。
让我们调用worker函数workerFunction和函数列表functionList。
workerFunction <- function(i) {
intermediateOutput <- functionList[[i]](y)
result <- otherCalculati
浏览 0提问于2013-07-01得票数 10
回答已采纳
1回答
在运行并行计算时，我试图弄清楚如何将函数和包传递给boot()函数。在循环中加载包或定义函数似乎非常昂贵。我经常用于其他并行任务的foreach()函数有一个.packages和.export参数，可以很好地处理这个问题(请参阅这个)，但是我不知道如何使用引导包来完成这个任务。
下面是一个毫无意义的示例，它展示了切换到并行时发生了什么：
library(boot)
myMean <- function(x) mean(x)
meaninglessTest <- function(x, i){
return(myMean(x[i]))
}
x <- runif(1000)
浏览 1提问于2013-07-26得票数 4
回答已采纳
我正在尝试为插入程序包的训练函数提供自己的采样器(因为数据不平衡)，然后在并行环境中训练模型。如果我不把采样器给火车，它就能正常工作。如果我将采样器提供给列车，但不使用并行功能，那么它仍然工作得很好。但如果我要求它与采样器并行运行，那么它就会给我一个错误。我尝试在两个不同的系统上运行，结果是相同的，但在两种情况下得到的错误是不同的。下面是一个示例：
library(caret)
set.seed(1)
data(iris)
library(DMwR)
library(doParallel)
cl <- makeCluster(3)
cl <- makeCluster(1) #un
浏览 0提问于2017-09-19得票数 1
我有一个函数sum_var，它接受一个整数作为输入，并返回一个实数作为输出。我在一些输入上检查了这个函数，它运行得很好。 我想使用clusterApply来利用我的CPU (6核和12个逻辑处理器)。我已经尝试修改了类中给出的代码 library("parallel")
cl <- makeCluster(6)
res_par <- clusterApply(cl, 1:10000, fun = sum_var) 但是它会返回一个错误Error in checkForRemoteErrors(val) : 10000 nodes produced errors;
浏览 12提问于2020-09-19得票数 0
回答已采纳
相似问题
为什么这个类似的问题不适用于我
他们能够实际构建它，显然这对他们来说是一个Github错误(不相关)。
R版
3.4.2 (我也尝试使用3.4.3，但也出现了同样的问题)
编辑:我在Windows 10上
上下文
我已经完全阅读了R包上的以下以及如何在其中包含.Rda文件。我的DESCRIPTION文件中也有DESCRIPTION设置为true。我已经尝试了data/文件夹实现和R/sysdata.rda实现，使用了函数devtools::use_data()和internal = FALSE和internal = TRUE各自的选项。
但是，当我尝试构建包时，或者使用devtoo
浏览 4提问于2017-12-13得票数 3
1回答
并行Window.xts
、、、、
为什么window.xts不在parLapply中工作？下面的代码给出了错误：
checkForRemoteErrors中的错误(Val)：8个节点产生错误；第一个错误:基于时间/时间的无效类
library(parallel)
z <- xts(11:15, as.Date(31:35))
testfun <- function(input,x){
window(input, start = 32, end = 34) + x
}
cl <- makeCluster(8)
clusterEvalQ(cl, {
library(xts)
})
clusterExp
浏览 9提问于2022-08-26得票数 0
我想在每个线程中执行一个tcltk2计时器(来自tcltk2包)。但是，下面的最小代码
library(doParallel)
n <- detectCores()
cl <- makeCluster(n, outfile="out.log")
registerDoParallel(cl)
testfn <- function() print(paste("hello from", i))
foreach(i=1:n, .packages = c("tcltk", "tcltk2"), .verbose =
浏览 5提问于2013-10-29得票数 0
回答已采纳
第一:我问题的来源是Nathan对Windows "lapply“的并行处理实现的黑客攻击。
我的目标是应用"pdist"，距离函数，计算两个矩阵之间的“距离”。
原始代码工作得很好，但是当我尝试使用'pdist‘库函数时，出现了一些问题。
我还确保“pdist”函数名包含在clusterExport()代码中。
我得到的错误是：
checkForRemoteErrors(val)中的错误:4个节点产生错误；第一个错误:C符号名"Rpdist“不在加载表中
在此转载守则：
## Load packages
require(parallel)
requ
浏览 2提问于2015-07-17得票数 1
回答已采纳
1回答
现在我有了一个很大的矩阵。这很费时.所以我想并行做。例如，矩阵为10^7x16，对于每一列，我定义一个向量函数来计算值。就像这里，我应该有16个功能。然后，我想把任务分配给16个核心，并行计算每一列，最后给出这个大矩阵。我怎样才能在R中做到这一点？谢谢!
现在，我尝试了像并行、foreach、doParallel这样的serval包。它对某些错误不起作用。
下面是我尝试过的一个简单的例子
library(parallel)
N1 = 100
rka = rep(1, N1)
rkb = rep(2, N1)
rkab = rep(3,N1)
rna = rep(4,N1)
rnb =
浏览 1提问于2016-07-07得票数 1
回答已采纳
我写了一个函数来并行运行R，但它似乎不起作用。代码是‘
rm(list=ls())
square<-function(x){
library(Iso)
y=ufit(x,lmode<-2,x<-c(1:length(x)),type="b")[[2]]
return(y)
}
num<-c(1,2,1,4)
cl <- makeCluster(getOption("cl.cores",2))
clusterExport(cl,"square")
results<-parLapply(cl,num,s
浏览 0提问于2019-11-28得票数 2
所以我有两个大的字符串列表，我想检查列表中的每个字符串是否有五个不同的序列。
我目前有一段连续完成这项工作的代码。它在列表中的每个条目中搜索一个序列，然后在列表中搜索下一个序列，然后搜索下一个序列，依此类推。
作为我如何构建代码的示例，我的想法如下：
library(Biostrings)
library(parallel)
#The data
sequences <- c("ATGGTA","CGAACT","AAATGC","CTTTGA","ACCAGT")
biglist <- list(&#
浏览 17提问于2019-07-23得票数 0
回答已采纳
如何从speedDistribution函数调用全局函数parLapply？
speedDistribution <- function(speed)
{
return(quantile(speed, seq(0.2, 1, by = 0.20)))
}
estimateFeatures <- function(trips,target)
{
cl <- makeCluster( 4 )
features = NULL
features = parLapply(cl, 1:length(trips), function(z){
z <-
浏览 3提问于2015-01-12得票数 2
回答已采纳
1回答
我有一个关于R中doSNOW集群的基本问题，当我们在R中注册并行集群时，它会将全局环境中分配的所有变量(数据)加载到并行集群中。有没有办法，我们可以指定在并行集群中加载哪些对象？
更具体地说。考虑下面的例子。在全局环境中，我有两个变量x和y。当我注册集群时，它同时将x和y加载到已注册的集群中。然而，我只需要x在平行的星系团，而不是y。
library(doSNOW)
cl <- makeCluster(2, type="SOCK")
registerDoSNOW(cl)
x <- 1:5
y <- 6:10
foreach(x=x, .combin
浏览 0提问于2015-12-18得票数 3
回答已采纳
我一直在使用bootstrap_parameters (R中的参数包)对一般的线性混合模型产生使用glmmTMB。它们不用并行处理就能正常工作(并行= "no")，在我的旧的和慢的mac上，使用并行=“多核”也能很好地工作。我正在开发一台新的PC (Windows )，因此需要使用并行=“斯诺”，但是我得到了以下错误：
system.time(b <- bootstrap_parameters(m1 )，迭代= 10，并行=“斯诺”，n_cpus =6)data.frame中的错误(.，check.names = FALSE )：参数意味着不同的行数: 0，1以及:警告
浏览 6提问于2022-07-22得票数 2
2回答
我有一个数据表，我上传的是R(多列的.csv格式)，其中需要应用某些用户定义的规则(另一个.csv格式的文件，其中每一行定义一个规则)。
目前，我正在使用for循环来迭代数据集并应用这些规则(因此它们是连续的)。但是，每个规则的输出都是独立的，因此，我希望确保它们并行运行。
我探索了R中的并行包，但无法缩小我要寻找的内容。我要找的是-
数据集是我的数据表
rulesSet是我的规则文件
^这些内容正在.Rmd文件中读取。
applyRules(dataset，rulesSet)是以上述两个参数为参数并返回结果数据的函数。
^此函数存在于单独的util.R文件中，但正在从.Rmd调用
要应用于d
浏览 4提问于2018-04-05得票数 0
回答已采纳
我想使用parLapply，并且按照这里介绍的方式设置代码：http://www.win-vector.com/blog/2016/01/parallel-computing-in-r/ 在过去的几次中，它工作得很好。然而，在我当前的parLapply调用中，我得到了错误Error in checkForRemoteErrors(val) : 3 nodes produced errors; first error: could not find function "bindToEnv"。 下面是一个简短的示例： #' Copy arguments into env
浏览 12提问于2020-01-15得票数 4
回答已采纳
2回答
我正在使用R中的LQMM软件包进行非常耗时的分析。我将模型设置为星期四开始运行，现在是星期一，现在仍在运行。我对模型本身很有信心(作为标准MLM测试)，我对我的LQMM代码很有信心(使用相同的数据集运行了其他几个非常相似的LQMM，它们都花了一天时间运行)。但是，我真的很想弄清楚如何让它更快地运行，如果可能的话，使用我可以访问的机器的并行处理功能(注意，所有这些都是基于Microsoft的)。
我已经阅读了几个关于使用并行的教程，但我还没有找到一个说明如何与其他R packages....am i一起使用并行包的教程，或者说不可能？
下面是我使用运行的代码：
install.packages(
浏览 1提问于2015-05-04得票数 5
1回答
我正在尝试使用genoud遗传优化器优化R中的一个函数，这是library(rgenoud)的一部分。我在R中设置并行处理的经验有限。
genoud对名字已知的makeClusters有一个内置的cluster选项。我想在一台多核机器上设置并行处理。我理解本地机器的名称是localhost，重复这个名称将在机器上使用多个核心。
这种方法对于简单的功能似乎很好，例如：
genout <- genoud(sin, 1, cluster=c('localhost','localhost','localhost'))
然而，当我优化更复杂的功能结构
浏览 1提问于2016-09-01得票数 1
回答已采纳
2回答
正如在其他文章中建议的那样，我在R中编写了自己的包，以并行化我用Rcpp编写的函数。我可以加载包，一切都正常，但是当我使用optimParallel时，我得到了消息：
checkForRemoteErrors中的错误(Val)：3个节点产生错误；第一个错误:找不到对象'_EffES_profileLLcpp‘
以下是我正在做的事情：
library(optimParallel)
library(EffES) # EffES is my own package
cl <- makeCluster(detectCores()-1)
clusterEvalQ(cl, library(
浏览 0提问于2018-09-25得票数 1
回答已采纳
1回答
我正在尝试使用parallel包(实际上，我希望这个问题的解决方案是通用的，这样我就可以使用任何并行化包)来运行给定的函数，并从任何返回错误的节点返回任何错误。让我们举一个简单的例子。 parallel::parLapply(
cl = parallel::makeCluster(2),
list(1, 2),
fun = function(x) {
print(x)
stop('test')
}
) 因此，在本例中，我的函数打印其给定值，然后返回一个错误。如果我运行此代码，将收到以下错误 Error in checkForRemoteErro
浏览 142提问于2019-10-17得票数 0
1回答
我试图用parSapply优化我的R代码。我使用xmlfile和X作为全局变量。
当我没有使用clusterExport(cl，"X")和clusterExport(cl，"xmlfile")时，我得到了"xmlfile对象找不到“。
当我使用这两个clusterExport时，我得到了一个错误，“类型为'externalptr‘的对象不可替换”。
有规律的应用，它可以正常工作。
有人能看到问题吗？
我有一个R码：
require("XML")
library(parallel)
setwd("C:/PcapParse
浏览 1提问于2016-08-22得票数 0
我在一个矩阵的不同的行子集上应用了几个函数。以下是一些示例数据：
set.seed(1)
## The data is a simple matrix
dataset <- matrix(sample(1:25, 25), 5, 5)
# [,1] [,2] [,3] [,4] [,5]
#[1,] 7 18 4 19 6
#[2,] 9 22 3 25 16
#[3,] 14 12 24 8 2
#[4,] 20 11 21 23 15
#[5,] 5 1 13
浏览 1提问于2018-02-08得票数 1
回答已采纳
1回答
我有这段代码，我使用untar (使用gunzip)将一堆文件复制到硬盘上的目录中(使用pbsapply )
library(pbapply)
library(parallel)
library(R.utils)
unpack <- function(x, exdir, remove, overwrite, skip){
copy <- paste(exdir, tail(unlist(strsplit(x, "/")), 1), sep = "")
file.copy(from = x, to = copy)
x <- copy
浏览 1提问于2017-08-23得票数 2
2回答
我试图教自己如何使用降雪包，当我尝试调用第二个函数(这是我最终想要实现的功能的简化用例)时，我遇到了以下问题。
我目前有：
library (snowfall)
f1 <- function(n) { return (n-1) }
f2 <- function(n) { return (f1(n)^2) }
# initialize cluster
sfInit (parallel=TRUE , cpus=4)
# parallel computing
result <- sfLapply(1:10, f2)
# stop cluster
sfStop ()
但我收到了错误消
浏览 2提问于2013-09-09得票数 4
回答已采纳
2回答
我试图将一个函数“映射”到一个数组上。然而，在尝试简单和复杂的函数时，并行版本总是比串行版本慢。如何提高R中并行计算的性能？
简单并行示例：
library(parallel)
# Number of elements
arrayLength = 100
# Create data
input = 1:arrayLength
# A simple computation
foo = function(x, y) x^y - x^(y-1)
# Add complexity
iterations = 5 * 1000 * 1000
# Perform complex computatio
浏览 0提问于2014-06-25得票数 1
回答已采纳
1回答
我有一个电子邮件列表，我想使用最长的公共子字符串来比较行之间的模式(相似性)。
数据是包含300.000封电子邮件的数据帧：
V1
1 "01003@163.com"
2 "cloud@coldmail.com"
3 "den_smukk_kiilar@hotmail.com"
4 "Esteban.verduzco@gmail.com"
5 "freiheitmensch@gmail.com"
6 "mitsoanastos@yahoo.com"
7
浏览 1提问于2015-05-22得票数 0
我试图使用下面的示例代码运行pdredge，其中数据位于
library(MuMIn)
require(snow)
require(parallel)
variable.list <- c("log(hden_change_divided_by_hdenStart)", "hden_peak_change", "DRAIN_SQKM", "PPTAVG_BASIN", "SNOW_PCT_PRECIP", "log(HIRES_LENTIC_PCT)", "FRAGUN_BASIN&#
浏览 0提问于2018-12-05得票数 0
回答已采纳
1回答
我使用pblapply()并行运行代码。它给出了一个级数，这是有用的。我使用像clusterExport()或clusterEvalQ()这样的函数将对象或librairies导出到集群中。但我并没有分享一个自制的功能，在我的环境中可用。你能帮我做这个吗？
下面是一个非常基本的例子：
# home-made function
mean_by_column <- function(j){
mean(iris[,j])
}
# this will produce error: could not find function "mean_by_column"
cl &l
浏览 1提问于2020-05-05得票数 0
回答已采纳
我最近开始在R中为一个项目使用并行技术，并使用包中的在Linux系统上运行我的程序。然而，我对parLapply for Windows的理解遇到了障碍。
使用mclapply，我可以设置核心数、迭代数，并将其传递给工作区中的现有函数。
mclapply(1:8, function(z) adder(z, 100), mc.cores=4)
我似乎不能在使用parLapply的windows中实现同样的效果。据我所知，我需要使用clusterExport()传递所有变量，并传递要应用到参数中的实际函数。
这是正确的，还是有一些类似的mclapply函数适用于Windows？
浏览 2提问于2013-06-20得票数 29
回答已采纳
我正在使用R中的doParallel/Foreach后端并行运行一个进程，我注册了一组由20个核心组成的集群，并运行了大约100次。我把一个矩阵传递给并行进程的每一次迭代，在子过程中，我用它自己的行的随机样本替换这个矩阵。我想知道的是:对于由同一个子进程处理的后续迭代，这种修改是否会持续？例如，当子进程1完成第一次迭代时，它是用原始矩阵开始第二次迭代，还是用随机样本开始第二次迭代？
一个最小的例子是：
library(doParallel)
X <- matrix(1:400, ncol=4)
cl<-makeCluster(2)
clusterExpo
浏览 6提问于2016-10-11得票数 1
我有一个命令：replicate(10^4, binom_ttest(100, 0.5)) %>% {sum(.<0.05)}/20000
binom_ttest是我创建的函数，它为binom测试返回2x p.value 1，为t测试返回1。
因为这是一个很长的计算，我想问一下如何将它分配给两个集群？我知道使用parLapply是有可能的，但这是行不通的：parLapply(makeCluster(2), 1:10000, binom_ttest(100, 0.5))
浏览 0提问于2021-11-29得票数 0
回答已采纳
1回答
当我尝试这段R代码的时候。我有平行的问题
# include library
require(stats)
library(GMD)
library(parallel)
# include function
source('~/Workspaces/Projects/RProject/MovielensCluster/readData.R'); # contain readtext.convert() function
###
elbow.k <- function(mydata){
## determine a "good" k using elbo
浏览 2提问于2016-06-11得票数 1
回答已采纳
为了减少运行时间，我试图用parSapply替换脚本中的sapply。
下面是我在dataframe示例中使用的脚本：
library(relaimpo)
gene1 <- c(1, 2, 3, 4)
gene2 <- c(3,1,2, 4)
age <- c(20, 40, 60, 10)
gender <- c("F", "M", "F", "F")
datatest<- data.frame(gene1, gene2, age, gender)
TEST<-sapply(d
浏览 0提问于2019-05-24得票数 0
3回答
我是R编程的新手，我有类似下面的代码，我知道windows不支持多核，但我不知道如何更改这部分代码。有人能给我推荐一个不使用mc.cores功能的等效代码吗？
rpl <- unlist( lapply( waydf$geometry$coordinates , nrow ) ) # row per line
waydf <- waydf[ rpl > 1 , ]
ll <- parallel::mclapply( waydf$geometry$coordinates , st_linestring,
mc.co
浏览 0提问于2017-09-21得票数 6
回答已采纳
2回答
置信带的并行引导t程序
、、、
我正在为统计的置信带实现一个引导-t过程。这是我的代码：
#Compute bootstrap variance
bt.var<-function(x,statistic,R=10000){
var(replicate(R,statistic(sample(x,replace=T))))
}
#Compute studentized bootstrap statistic
bt.one.student<-function(x, statistic.0, statistic,R=10000){
(statistic(x)-statistic.0)/sqrt(bt
浏览 4提问于2014-11-16得票数 1
回答已采纳
2回答
让我们假设我想以并行的方式将myfunction应用于每一行myDataFrame。假设otherDataFrame是一个有两列的数据文件：COLUNM1_odf和COLUMN2_odf，因为某些原因在myfunction中使用。因此，我想用这样的parApply编写一个代码：
clus <- makeCluster(4)
clusterExport(clus, list("myfunction","%>%"))
myfunction <- function(fst, snd) {
#otherFunction and aGlobalDat
浏览 3提问于2016-10-23得票数 4
回答已采纳
在R中，我有一个矩阵列表，并希望对列表中的矩阵应用一个汇总函数。矩阵表示社会网络，因此我需要应用ergm包提供的一些专门的摘要功能。这些汇总统计数据包含在摘要方法中。我可以编写一个函数作为这个摘要方法的包装器，并使用lapply将该函数应用于矩阵列表。
但是，当我尝试使用来自parLapply包的parSapply或parallel来并行化时，结果看起来很奇怪。当我导出summary.statistics函数时，我甚至会收到一条错误消息。
是否必须将由ergm包提供的摘要方法导出到群集对象？如果是这样的话，是怎么做的？下面的代码是一个独立的示例。
library("ergm")
浏览 0提问于2015-11-17得票数 7
回答已采纳
2回答
类似于
但是如何将包的非导出函数clusterExport到集群呢？由于某种原因，它在提交给CRAN之前通过了，但在生产中没有工作。显然，我想修复并重新屈服于CRAN。
library(imputeMulti)
library(parallel)
imputeMulti:::count_compare # function to be exported
nnodes <- 2L
cl <- parallel::makeCluster(nnodes)
parallel::clusterExport(cl, varlist= c("count_compare"
浏览 1提问于2016-08-08得票数 1
回答已采纳
我正在使用foreach进行并行处理，这需要手动将函数通过列表传递到已寻址核心的环境中。我想要自动化这个过程，并涵盖所有用例。简单的函数，只使用封闭的变量。然而，当要并行处理的函数使用在另一个环境中定义的参数和变量时，就会出现复杂的情况。考虑以下情况：
global.variable <- 3
global.function <-function(j){
res <- j^2
return(res)
}
compute.in.parallel <-function(i){
res <- global.function(i+global.variab
浏览 6提问于2017-11-09得票数 2
我需要估计一个转移矩阵。因为我有很多数据，所以我尝试使用foreach并行运行它，并且我尝试了bigstatsr的共享内存函数FBM()。而且该函数似乎并不总是返回正确的结果。(有时确实如此。)会不会是函数不能正常工作的情况？ 以下是代码正常工作时的示例： x <- c(1,2,1,1,3,4,4,1,2,4,1,4,3,4,4,4,3,1,3,2,3,3,3,4,2,2,3)
n <- length(unique(x))
A <- matrix(nrow = n, ncol = n, 0)
for (t in 1:(length(x) - 1)) {A[x[t], x[t
浏览 21提问于2019-02-07得票数 1
回答已采纳
1回答
在这里，我试图用R中的并行处理来翻译文本的语言，这是我第一次使用并行处理。我的代码是：
install.packages("RYandexTranslate")
install.packages("textcat")
install.packages("plyr")
install.packages("parallel")
library("RYandexTranslate")
library("textcat")
library("d
浏览 1提问于2016-07-19得票数 1
我正在使用ltmle和parallel函数对远程群集上的许多被推定的数据帧列表运行分析。下面是我的代码： set.seed(500, kind = "L'Ecuyer-CMRG")
numcores <- future::availableCores()
cl <- parallel::makeCluster(numcores)
parallel:clusterEvalQ(cl, library(ltmle))
parallel:clusterEvalQ(cl, Avar <- c("var4", "var5", &#
浏览 28提问于2021-08-31得票数 0
回答已采纳
1回答
我的目标是在应用于dredge()模型时尽可能加快glmmTMB()函数的速度。我知道这两个函数都可以并行化：glmmTMB()与control参数，dredge()与cluster参数。
我的问题是:为了获得最大的速度，我能同时并行化模型拟合和疏浚吗？换句话说，我可以将/stack/相加并行化glmmTMB()和dredge()的速度优势结合起来吗？
我试图通过在R会话中创建两个单独的集群来做到这一点，并且通过将各种选项与microbenchmark()进行比较，我似乎已经实现了我的目标。
然而，由于我刚刚从其他地方复制了代码，我不知道自己在做什么！我有统计学和R编程的背景，但是并行化是我刚
浏览 13提问于2022-10-27得票数 1
回答已采纳
我正在试图了解并行化环境上的Rcpp::sourceCpp()调用背后发生了什么。最近，这一问题在中得到了部分解决。
在这个帖子里，德克说，
“您需要在每个生成的进程中运行sourceCpp()调用，否则将得到您的代码。”
这是对发问者使用将Rcpp函数分发给工作进程的响应。发问者通过以下方式发送Rcpp函数：
clusterExport(cl = cl, varlist = "payoff")
我搞不懂为什么这不管用。我的想法是，这就是clusterExport()的目标所在。
浏览 3提问于2016-07-22得票数 1
回答已采纳
2回答
R中有效的逐行矩阵运算
、、、
我有两个矩阵M1，M2。对于M1中的每一行，我希望在M1中找到该行的乘积的最大值，在M2中查找每一行的最大值。
我已经尝试了下面的实现，它产生了我想要的结果。
set.seed(1)
st_time = Sys.time()
M1 = matrix(runif(1000*10), nrow=1000, ncol=10)
M2 = matrix(runif(10000*10), nrow=10000, ncol=10)
score = apply(M1, 1, function(x){
w = M2 %*% diag(x)
row_max = apply(w, 1, max)
re
浏览 3提问于2017-05-28得票数 3
回答已采纳
我正在尝试创建一个R函数，它执行并行化引导例程，但是在parLapply中传递函数参数有困难。下面是一个(希望)可重复的示例，其中集群无法找到参数的值：
innerFun <- function(a=rnorm(10), q=0.5){
quantile(a, probs = q)
}
library(parallel)
bootFun <- function(a=rnorm(10), q=0.5, nperm=10, no_cores = detectCores() - 1){
parFun <- function(x){
set.seed(x)
浏览 2提问于2017-11-20得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
