编辑过的 这是一个一般性的问题:我看到一些帖子说，在foreach循环中使用foreach和write.csv不是一个好主意，因为不同的内核试图同时写入文件，从而导致丢失结果。尽管如此，我仍然需要在并行循环中写入一个外部文件来获得输出(500000+行和10+列)。否则，它会因为内存问题而崩溃。所以，我想知道是否有一种更安全的方法在for
浏览 26提问于2020-08-25得票数 1
回答已采纳
2回答
我一直在尝试让一个并行的foreach循环在R中运行，它在大约十次迭代中运行得很好，但随后崩溃，显示错误：Calls: %dopar% -> <Anonymous>我将每个循环的结果附加到一个文件中，该文件确实显示了预期的输出。我的脚
浏览 1提问于2016-02-09得票数 3
2回答
我在for循环环境中使用函数"cop.theta“创建矩阵的代码。Mat.corr <- matrix(0,6,5,byrow=F)Mat.corr[i,]=cop.theta(index,EXPR,SURV=survp[,i])我在doParallel包中使用"foreach“编写了一个R代码，以获得与上面生成的代码类似的结果。(0,6,5,byrow=F) %dopar%
Mat.corr[i,]=cop.theta(
浏览 5提问于2016-04-06得票数 0
回答已采纳
为了查看运行在foreach()循环中的函数输出的控制台消息，我按照的建议添加了一个sink()调用，如下所示： library(doMC)cores <- detectCores() sink(".Starting iteration",i,&q
浏览 1提问于2014-10-10得票数 6
回答已采纳
2回答
利用前瞻函数实现并行计算
、、、
我有一个文件夹，里面有5000份csv文件，每个文件都属于一个位置，包含1980-2015年的日降雨量。文件的示例结构如下： rainfall = sample(1:100, replace = T, 365 * 36))
浏览 0提问于2018-09-13得票数 0
回答已采纳
1回答
我很难理解如何使我的代码并行。我的愿望是在20的矩阵中找到3个向量，这些向量与我测量的变量最接近线性回归(这意味着总共有1140个不同的组合)。目前，我能够使用3个嵌套的foreach循环来返回最佳向量。然而，我的愿望是使外部循环(或所有这些？)并行工作。任何帮助都将不胜感激！Parallel stuffcl<-makeCluster(no_cores)
reg
浏览 1提问于2017-01-12得票数 1
回答已采纳
1回答
我需要通过打开数千个csv文件，提取数据列，并将它们插入到3D和4D矩阵中来填充很多非常大的数组。我试着并行地写这个，但总是发生的是，当我的记忆被填满时，我的电脑就会崩溃。下面是我的代码(在需要的地方是通用的)：foreach (f = 1:500000, .packages=c('dplyr
浏览 1提问于2021-06-05得票数 0
回答已采纳
1回答
我想使用foreach语法查询本地存储的数据库。我的代码是这样的：registerDoParallel(cl)
错误在{：任务1失败-“第一个参数不是一个开放的RODBC通道”另外:警告消息:在e$乐趣(obj，替代(Ex)，pa
浏览 1提问于2017-01-31得票数 0
回答已采纳
我使用的框架是：doParallel::registerDoParallel(20) innerRes <- foreach3(k = seq3, …)对于嵌套的foreach循环，是否会将已注册的后端传递给每个foreac
浏览 2提问于2018-01-09得票数 2
回答已采纳
在多核上使用doSNOW包访问/写入全局变量时是否存在问题？你认为结果会正确吗？会有隐藏的渔获物吗？附注：我必须写出全局变量，因为这是一个简单的例子，事实上，我有很多输出需要从并行循环中传输。因此，也许唯一的方法就是写到全局变量中.MaxSearchSpace=44*5
globalVa
浏览 2提问于2012-02-22得票数 7
2回答
在R中使用多核的循环
、、、、
我有一段非常长的代码，它由多个用户定义的函数组成，这些函数是在我的代码开始时提供的。整个脚本都在一个for循环中，它逐个读取csv文件，分析它们，每次迭代输出2个csv文件和一个PNG。这需要很长时间，所以我想利用我的个人电脑的8个核心。
我已经将我的主for循环更改为foreach，并添加了%dopar%，但是，我的代码无法工作。(data.t
浏览 2提问于2016-04-11得票数 2
回答已采纳
我正在运行一个foreach循环，在这个循环中，我希望读取数据、修改数据并并行输出文件。它工作得很好，但在循环结束后，我总是得到文件列表的输出。如果我在循环中包含rm(数据)，数据就会消失，但会输出一个空数据帧列表。下面是我的代码的概括： foreach (f = 1:100, .packages = c('lubridate','vroom','readr')) %dopar</em
浏览 21提问于2021-03-22得票数 0
回答已采纳
可以在并行模式下运行biglm吗？我尝试使用doMC，然后在foreach循环中嵌入biglm，但似乎所有内核都将同时处理相同的数据块。我如何将其并行化？library(doMC)sample <- read.table.ffdf(file="sample_output.csv", FUN= "read.csv", na.strings = "&q
浏览 0提问于2013-05-16得票数 2
3回答
我有一个函数doSomething()，它运行在foreach循环中，因此将一些计算保存为.csv文件。因此，我不需要foreach的返回值，实际上我不想要返回值，因为它使我的记忆变得混乱，以至于我无法运行我想要的迭代次数。cl <- parallel::makePSOCKcluster(1)
do
浏览 3提问于2020-02-05得票数 7
回答已采纳
在我的Debian9PC和RedHat4.8.5高性能计算集群上，我间歇性地遇到了%dopa%(使用doMC后端)和fwrite()的问题。行为并不总是一致的，但简而言之，fwrite和foreach故障--即使在明确请求fwrite只使用一个核心(通过fwrite中的setDTthreads或nThread )时也是如此，以避免并行工作线程的怪异在最近的一个实例中，一个实例中没有写入任何文件，而在
浏览 6提问于2018-02-03得票数 1
1回答
我试图用for循环中的一些数据创建一个数组数组。下面代码中的regex命令帮助我收集我将放在其中的标量。据我所知，这是正确的，但是当我试图将@output数组输出到CSV文件时，我会收到一个“不能使用string ()作为数组参考，而使用的是”严格引用“。错误。这是因为我创建数组的方式还是我试图将其写入文件的方式？foreach my $row(@input){
浏览 1提问于2013-11-07得票数 1
回答已采纳
因此，我尝试将HTML表单中的输入内容写入CSV文件。我可以将内容写入csv文件，但是进程脚本将作为foreach循环中的数组写入csv文件。我希望输出只在文件中写入一次。我试着通过'implode()‘转换成字符串，但似乎不起作用，因为我刚收到来自PHP的错误。
下面是我
浏览 2提问于2020-11-15得票数 0
下面我有一个最小可重复的示例脚本，它将相同的情节写入两个pdf文件，首先是串行的，使用标准的for循环，然后并行使用R的foreach() %dopar%构造：library第二个输出文件test_parallel_one.pdf和test_parallel_two.pdf的最终文件大小为34745字节，但它们在试图使用标准工具读取时返回一个文件损坏错误:例如，“打开此文档时出错串
浏览 13提问于2022-09-21得票数 0
1回答
下面的代码为我创建URL，我需要下载.csv文件。我使用循环，因为我有超过30万个不同的URLS： paste0("https://dwr.state.co.us/Rest(df_null,data.table(df_curtail)) }
这种方式为循环中的每个"i“(每个url)花费了25秒，下载所有数据需要很长时间。cl <- makeCluster(core
浏览 3提问于2022-10-03得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
