开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

在超级计算机上并行运行模型的问题- do.call无法识别parLapply/clusterApply中的模型列表

在超级计算机上并行运行模型的问题- do.call无法识别parLapply/clusterApply中的模型列表。

在超级计算机上并行运行模型时，常常会使用parLapply或clusterApply等函数来实现并行计算。然而，有时候在使用do.call函数时会遇到无法识别parLapply/clusterApply中的模型列表的问题。

这个问题通常是由于模型列表在并行计算过程中无法正确传递导致的。为了解决这个问题，可以尝试以下几种方法：

使用foreach包：可以使用foreach包中的foreach函数来代替parLapply/clusterApply函数。foreach函数在并行计算时能够正确处理模型列表，并且可以与do.call函数配合使用。
使用clusterApplyLB函数：如果使用的是snow包进行并行计算，可以尝试使用clusterApplyLB函数来代替clusterApply函数。clusterApplyLB函数在并行计算时能够正确处理模型列表，并且可以与do.call函数配合使用。
使用其他并行计算框架：除了parLapply/clusterApply函数外，还有其他一些并行计算框架可以使用，例如future包、multicore包等。这些框架在并行计算时可能能够更好地处理模型列表的传递问题。

总结起来，解决在超级计算机上并行运行模型时do.call无法识别parLapply/clusterApply中的模型列表的问题，可以尝试使用foreach包中的foreach函数、clusterApplyLB函数或其他并行计算框架来替代parLapply/clusterApply函数。这些方法能够正确处理模型列表，并且可以与do.call函数配合使用。

腾讯云相关产品和产品介绍链接地址：

腾讯云弹性计算Elastic Compute Cloud（ECC）：https://cloud.tencent.com/product/cvm
腾讯云容器服务Tencent Kubernetes Engine（TKE）：https://cloud.tencent.com/product/tke
腾讯云函数计算Serverless Cloud Function（SCF）：https://cloud.tencent.com/product/scf
腾讯云人工智能AI Lab：https://cloud.tencent.com/product/ai-lab
腾讯云物联网IoT Hub：https://cloud.tencent.com/product/iothub
腾讯云移动开发Mobile Development Kit（MDK）：https://cloud.tencent.com/product/mdk
腾讯云对象存储COS：https://cloud.tencent.com/product/cos
腾讯云区块链Blockchain Service（BCS）：https://cloud.tencent.com/product/bcs
腾讯云元宇宙Tencent Cloud Metaverse（TCM）：https://cloud.tencent.com/product/tcm

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

R︱并行计算以及提高运算效率的方式(parallel包、clusterExport函数、SupR包简介)

值得庆幸的是，现有R中的并行计算框架，如parallel (snow,multicores)，Rmpi和foreach等采用的是映射式并行模型（Mapping），使用方法简单清晰，极大地简化了编程复杂度...循环）、SupR、还有利用GPU的办法（gpuR）同时并行时对内存的消耗极大，超级容易爆发内存问题，而且R的内存问题一直都是R很难解决的问题，这边笔者也把看到的一些方式列出来。...lapply在使用的时候也会出现这样的问题，如果出现问题，那么就白跑了，而且也不可能给你停顿下来。那么如何让lapply运行中跳过报错的办法呢？...如果现在的内存上限不够用，可以通过memory.limit(newLimit)更改到一个新的上限。注意，在32位的R中，封顶上限为4G，无法在一个程序上使用超过4G （数位上限）。...，无法连接到核心，即使在本来连接上的时候。

8.9K1 0

R语言实现并行计算

Python作为多线程的编程语言在并行方面相对于R语言有很大的优势，然而作为占据统计分析一席之地的R语言自然不能没有并行计算的助力。...所谓显式并行也就是基于并行的编程语言编译的程序；隐式并行是基于串行程序编译的并行计算。当然，在R语言核心功能中也是带有了相关的并行的计算基础包parallel。...5. clusterCall() 在并行环境中，一次运行过程在各节点的值。clusterMap便可以直接运行所用的值，并以列表形式展示所有结果。...7. clusterApply() 类似parLapply 系列，可以直接运行得到所有结果，输出列表格式。clusterApplyLB()便是对其的优化，具体的优化模式我们就不赘述了。...实例 stopCluster(cl) 以上便是parallel包的全部功能函数，其实并行真正解决的是重复性工作的情况，在P值的计算中应用比较广泛。

3K3 1

47-R编程（九：多线程操作之parallel）

https://blog.csdn.net/weixin_41929524/article/details/81707053https://www.jianshu.com/p/3882ea7b9cc9 R的并行化计算其实没有改变其整个并行环境...，而是先启动N个附属进程，然后将数据分割成N块在N个核上进行运行，等待附属进程结束返回结果。...我们可以先比较一下lapply 和parLapply 的运行速度： > system.time(lapply(1:1000000, function(x) c(x, x**2, x**3))) 用户...in checkForRemoteErrors(val) : 3 nodes produced errors; first error: 没有"str_to_upper"这个函数同样，如果是在函数中调用了外部的变量也是...但对于包中的函数，还是需要专门的使用clusterEvalQ 加载。 4）小建议运行完毕后释放内存 stopCluster(cl)

1K6 0

IMvigor210CoreBiologies包安装指北

下面是第9期学员的随机投稿 2018年的Nature上公开了一份尿路上皮癌(BLCA)的免疫治疗队列数据，而这份数据就储存在IMvigor210CoreBiologies包中。...但是在安装该包的过程中，笔者遇到了一点小问题，今天根据笔者自己在安装过程中遇到的问题，写下这一份安装小教程。...(http://research-pub.gene.com/IMvigor210CoreBiologies/packageVersions/) 在本地安装过程中，笔者又出现了依赖包问题。...根据官网的介绍我们需要的DESeq2作为依赖包。但是!!!实际安装过程中，真正需要的是DESeq包。...# 第二步，接着和第一步一样，在Rstudio，复制下面代码，并运行： Sys.which("make") # 完成后，Rtools便自动配置完成路径，傻瓜式操作。

4.1K3 0

如果在使用CIBERSORT时出现报错

CIBERSORT是主流计算免疫浸润的两种主流方法之一(另一种是ssGSEA)。...在进行CIBERSORT分析的时候，关键的一步是根据内置的22种免疫细胞基因表达特征数据结合自己的表达矩阵文件计算每一个样本中的免疫细胞浸润情况。...返回代码 22 对应的错误是 EINVAL，即无效参数。这个问题通常与系统资源、R 的并行处理配置或运行环境有关。可能的原因有如下几点1....RStudio 环境的限制：RStudio 对并行处理有一些限制，可能导致无法创建新线程。4. 无效参数：传递给 pthread_create() 的参数无效。...在多个核心上并行运行exp_files <- list("exp.txt") # 如果有多个文件，可以将它们放在这个列表中TME.results_list <- parLapply(cl, exp_files

1641 0

深度学习训练时间从几小时缩减到数分钟，微软与CSCS超算新突破

【新智元导读】微软和瑞士国家计算中心（CSCS）的科学家们取得了重大突破，将超级计算机上深度学习的训练时间缩减到数分钟。...训练时间的缩短，再加上超级计算机技术的引入，或能够解决现在在图像、视频和语音识别，自然语言处理等方面问题的瓶颈。考虑到深度学习能够提供的复杂性，这样的研究还可能扩展到其它多个领域。...训练时间的缩短，再加上超级计算机技术的引入，或能够解决现在在图像、视频和语音识别，自然语言处理等方面问题的瓶颈。考虑到深度学习能够提供的复杂性，这样的研究还可能扩展到其它多个领域。...根据该团队研究员的解释，深度学习在算法方面和传统运行在大规模并行超级计算机上的应用是类似的，通过使用 Cray XC Aries 网络以及高性能的 MPI 库来优化节点间通信，每个训练任务可以使用更多的计算资源...瑞士超级计算中心主任 Thomas Schulthess 表示，这项突破意味着研究人员能够利用现有的超级计算机解决那些以前被认为不可行的深度学习问题，以前一般认为那些问题需要几个月的时间来训练模型。

7086 0

XNOR.ai要简化数学，让人工智能从云端走进普通设备

从本质上来看，XNOR.ai是一种计算机原生的数学，帮助计算机视觉和语音识别等人工智能模型更简单地运行。这将给整个行业带来变革。...但如果任务是在高画质设置下玩游戏，那么你会希望视频中的每帧能实时显示。在这种情况下，远程传送数据将不切实际。 Farhadi及其团队希望让这种更复杂的人工智能模型变为可能。...这代表了计算机视觉的最新成果。然而，这样的成果仍是通过超级计算机和并行GPU去完成的，用到了大量的计算资源。...这款原型应用运行在普通智能手机上，花了10秒钟时间才完成这些识别。 Farhadi表示：“你可以让这个应用在手机中运行几个小时，而我们还没有针对电池耗电进行优化。”...手机需要从事超级计算机的任务，但手机性能只足以运行一款游戏，并且只能使用CPU的单一核心。随后，Farhadi展示了运行在树莓派Zero上的实时对象识别技术。

74410 0

机器学习模拟1亿原子：中美团队获2020「超算诺贝尔奖」戈登贝尔奖

在基于物理模型的计算、机器学习和高性能 GPU 并行集群的共同助力下，研究人员已将超大系统的分子动力学模拟带进了一个全新时代。 ?...北京大学发来的祝贺中写到：在这项工作里，该研究团队在物理建模、机器学习与高性能计算的交叉学科领域取得突破，基于深度学习的分子动力学模拟通过机器学习和大规模并行的方法，将精确的物理建模带入了更大尺度的材料模拟中...因此，我们做出了以下算法方面的创新: （1）通过引入一种新的相邻列表数据分布，避免了在计算嵌入矩阵时出现分支，从而增加了 DeePMD 的计算粒度；（2）相邻列表的新数据结构中的元素被压缩为 64...由于戈登贝尔奖表彰在高性能计算方面的成就，决赛选手必须证明他们提出的算法可以在世界上最强大的超级计算机上高效运行。...于是，获奖团队开发了一份高度优化的代码（GPU Deep MD-Kit）并在美国能源部橡树岭国家实验室的 Summit 超级计算机上顺利运行，在双精度下实现了 91 PFLOPS 的速度，在混合单 /

7561 0

把大模型装进手机，小米、OPPO、vivo 卷起来了！

生成式模型在这个场景中确实取得了突破性的效果，比如传统方法和第一代模型无法达到的效果。目前，我们这个版本还存在许多问题，其中一个众所周知的问题就是生成问题，即如何确保生成的内容符合用户的意愿。...尽管语言大模型在云端表现更好，但要在手机上，尤其是拍照系统中实时运行大模型，这是一个相当高的要求。这里重点介绍我们解决的两个问题。首先，我们需要开发一个适合拍照系统的大模型。...我们还引入了 AIGC 技术来处理细节，比如眉毛和发丝等细节的表现力。我们能够在端侧模型中完成人脸识别等任务。当然，我们也面临一些挑战，包括在面部肌理和发丝等细节处理上的体验问题。...vivo 对图形渲染整个流程及关键模块进行了全新的设计，推出了虚拟显卡解决方案，创新实现了超级渲染树、并行渲染、异构渲染，解决了丢帧、掉帧、帧同步的问题，保障了系统显示始终高效且流畅。...同时，也在探索如何提高存算之间的带宽，以及如何在图推理方面进行并行计算。总的来说，虽然大家都在努力优化，但根本问题的解决需要一定的周期。袁东：我想谈谈关于大模型在手机上的应用。

1621 0

美空军尝试打造人工智能超级计算系统

《科技媒体》网站(www.hpcwire.com)发布消息称，美国空军正在尝试打造人工智能超级计算系统。...IBM和美国空军研究实验室(AFRL)当日宣布，他们正在合作研发行业首款基于64块芯片阵列IBM真北神经突触系统（TrueNorth Neurosynaptic System）的类脑超级计算系统。...IBM研究人员认为，与使用常规芯片的系统相比，基于真北芯片的类脑神经网络设计在模式识别和集成感觉处理方面的效率要高得多。美国空军研究实验室正在调研该系统在嵌入式、移动式、自动化设置中的应用。...该系统的巨大规模将实现“数据并行性”和“模型并行性”，其中“数据并行性”意味着多个数据源能够在同一神经网络中并行运行，而“模型并行性”是指独立的神经网络能够形成在同一数据上并行运行的集合。...对于CIFAR-100数据集，真北实现了近乎最高的精度，同时以大于1500帧/秒的速度运行，功耗为200mW(效率高于每瓦7000帧/秒)——所需的速度和能量相对于在传统计算机上运行同样的神经网络进行推理都要低了很多个数量级

7868 0

资源 | 一文盘点10大移动端机器学习框架

尽管我们已经可以在台式计算机和性能优良的笔记本上运行神经网络，但是智能手机和平板电脑的原始处理能力太低，无法本地运行算法。...这就是为什么本文列表分为两部分：针对计算机的更强大的机器学习框架和针对移动端的优化性能的框架。计算机机器学习框架该列表包含运行在适当硬件上的一般框架，可以处理海量的数据集。...MXNet MXNet 是该列表中的第一个 Apache 项目；它是一个有前景、活跃的框架，可应用于移动端，即你可以在任何安卓或 iOS 设备上训练数据、运行计算集（computed set），该框架也可在...该精简版允许选择任意给定项目所需的模型和工具，无需添加额外的 bloat。其主要特征是移动端部署，允许开发者在手机上实时运行不同的神经网络计算。...苹果 Core ML 随着机器学习和移动应用的流行，苹果发布了 Core ML 库，允许移动应用开发者在强大的计算机上训练模型，然后将其保存在手机上，并运行模型的优化版本。

8954 0

美空军尝试打造人工智能超级计算系统

《科技媒体》网站(www.hpcwire.com)发布消息称，美国空军正在尝试打造人工智能超级计算系统。...IBM和美国空军研究实验室(AFRL)当日宣布，他们正在合作研发行业首款基于64块芯片阵列IBM真北神经突触系统（TrueNorth Neurosynaptic System）的类脑超级计算系统。...IBM研究人员认为，与使用常规芯片的系统相比，基于真北芯片的类脑神经网络设计在模式识别和集成感觉处理方面的效率要高得多。美国空军研究实验室正在调研该系统在嵌入式、移动式、自动化设置中的应用。...该系统的巨大规模将实现“数据并行性”和“模型并行性”，其中“数据并行性”意味着多个数据源能够在同一神经网络中并行运行，而“模型并行性”是指独立的神经网络能够形成在同一数据上并行运行的集合。...对于CIFAR-100数据集，真北实现了近乎最高的精度，同时以大于1500帧/秒的速度运行，功耗为200mW(效率高于每瓦7000帧/秒)——所需的速度和能量相对于在传统计算机上运行同样的神经网络进行推理都要低了很多个数量级

7158 0

每个程序员都应该知道的 40 个算法（四）

将会有一个无法并行化的顺序部分。让我们看一个具体的例子。假设我们想要读取存储在计算机上的大量文件，并使用这些文件中的数据训练机器学习模型。整个过程称为 P。...如果任务太多，那么将会产生太多的开销。这也是一个被称为任务粒度的挑战。负载平衡在并行计算中，调度程序负责选择执行任务的资源。在没有实现最佳负载平衡的情况下，资源无法充分利用。...对于大规模算法，我们需要找到多个并行运行的执行引擎来解决复杂的问题：有三种策略可以拥有多个执行引擎：向内寻找：利用计算机上已有的资源。使用 GPU 的数百个核心来运行大规模算法。...集群计算集群计算是实现大规模算法并行处理的一种方式。在集群计算中，我们有多个通过高速网络连接的节点。大规模算法被提交为作业。每个作业被分成各种任务，并且每个任务在单独的节点上运行。...在每个节点上并行化需要较少数据的计算密集型任务在 GPU 上进行。总结在本章中，我们研究了并行算法的设计以及大规模算法的设计问题。我们研究了使用并行计算和 GPU 来实现大规模算法。

960 0

骑车不戴头盔识别检测系统

骑车不戴头盔识别检测系统通过GPU深度学习技术，骑车不戴头盔识别检测系统对行驶在马路上的骑电动摩托车等未戴头盔的行为进行抓拍，骑车不戴头盔识别检测系统不经过人为干预自动对上述违规行为进行自动抓拍识别。...骑车不戴头盔识别检测系统技术上采用 Tesnorflow+TensorRT推理组合，精度高速度快更实用。深度学习应用到实际问题中，一个非常棘手的问题是训练模型时计算量太大。...当allow_soft_placement为True的时候，如果运算无法在GPU上运行，TF会自动将其放在CPU 上运行。常用的并行化深度学习模型的方法有两种：同步模式和异步模式。...同步模式解决了异步模式中存在参数更新的问题，然而同步模式的效率却低于异步模式。通过多GPU并行的方式固然可以达到很好的训练效果，但是一台机器上毕竟GPU的个数是有限的。...如果需要记忆不提升深度学习模型的训练效果，就需要将TensorFlow分布式的运行在多台计算机上。TensorFlow集群通过一系列的任务（tasks）来执行TF计算图中的运算。

9075 0

英特尔院士概述深度学习愿景与优化，Caffe for Xeon Phi成亮点

Pradeep解释说，“训练模型是重中之重”。自从80年代以来，数据科学家就一直使用机器学习来创建模型，以解决复杂的模式识别问题。...这些革新使得深度神经网络这样的监督式学习方法可以在图像或语音识别任务中得到有用的预测，并且准确性非常好，时常与人工操作相当甚至更好。他说，“它的影响将无处不在”。...他说，“训练的惊人之处在于，它可能会创建一个模型，这个模型简洁得足以存储并运行在一部手机上，从而使手持计算设备执行超出它计算能力的识别任务”。...在手机（或嵌入式系统）上运行云端或者超级计算训练的深度学习模型的能力意味着每个人都能够使用深度学习。...为了清楚说明此影响，Pradeep指出，“沃森”计算机的自然语言处理，我们在web页面上看到的图像识别以及其他深度学习问题的影响都无处不在。

5365 0

微软、英伟达联手推出语言模型 MT-NLP，5300亿参数，现存最大

然而，要充分发挥这些超级计算机的潜力，需要在数千个 GPU 之间实现并行性，在内存和计算上都高效且可扩展。...然而，现有的并行策略（例如数据、pipeline 或 tensor-slicing）在内存和计算效率方面存在以下权衡，无法用于训练这种规模的模型：数据并行实现了良好的计算效率，但它复制了模型状态并且无法利用聚合分布式内存...硬件系统模型训练是在基于英伟达 DGX SuperPOD 的 Selene 超级计算机上以混合精度完成的，该超级计算机由 560 个 DGX A100 服务器提供支持，这些服务器以完整的胖树配置与 HDR...研究者们使用 min-hash LSH 在文档级别使用模糊重复数据删除过程来计算稀疏文档图和其中的连接组件以识别重复文档。...在阅读理解任务 RACE-h 和 BoolQ 中，模型根据给定的段落生成问题的答案。

2691 0

The Brain vs Deep Learning（完结）

，这个测量是在高性能LINPACK（HPL）基准测试中的每秒浮点运算（FLOPS），它测量系统在一秒钟内可以进行多少次计算，比如在数百或数千台计算机上进行分布式密集矩阵操作。...有一个超级计算机的TOP500列表，就是基于该基准的历史列表，用于新的超级计算机系统的性能的主要参考点。...高性能计算社区的每个人都知道这一点，但它在这方面的业务例程中根深蒂固，当你设计一个新的超级计算机系统时，你基本上必须证明你的系统将能够在TOP 500中，以获得该超级计算机的资金。...它是如此之高，对于一些超级计算机设计，深度学习在TOP 500的运行速度比在您的台式计算机上运行还慢。为什么会这样？...因为并行深度学习涉及海量参数同步，需要大量的网络带宽：如果你的网络带宽太慢，那么在某些时候深度学习越慢，你需要添加到系统中的计算机越多。因此，通常相当快的非常大的系统对于深度学习可能非常慢。

2982 0

研究人员报告“分布式深度学习”取得突破

赖斯大学和亚马逊的计算机科学家采用了利用压缩传感功能的方法，表明他们可以节省训练计算机进行产品搜索和类似“ 极端分类问题 ” 所需的时间和计算资源。 ?...“极端分类问题”是可能产生许多结果的参数，因此有许多参数。...用于极端分类的深度学习模型是如此之大，以至于通常必须在有效的超级计算机上进行训练，超级计算机是一套链接的图形处理单元（GPU），其中参数分布并并行运行，通常需要几天。...与具有类似参数的模型相比，分布式的方法对模型进行训练所需的时间和内存更少。 Medini说：分布式深度学习最重要的功能是它不需要并行处理器之间的通信。在思想实验中，这就是分离，独立世界的代表。...原则上，您可以在一个GPU上训练32个中的每个，这是使用非独立方法永远无法做到的。”

4291 0

当下流行的分布式文件系统大阅兵

lustre是开放源代码的集群文件系统，采取GPL许可协议，目前在集群计算机里，计算机与磁盘间数据交换的提升无法跟上微处理器和内存增长的速度，从而也拖累了应用程序的性能，一种新兴的集群文件系统软件提高了...I/O速度，可能降低企业购买存储设备的成本并改变企业购买存储的方式，集群文件系统已经在大学、实验室和超级计算机研究中心里使用，而且即将进入通用商业计算市场。...它显著提高了输入输出（I/O)速度，目前已经在高校、国家实验室和超级计算研究中心产生了一定影响，未来几年中，它很有可能进入普通的商业计算机领域。　　...OpenAFS是围绕一组叫做cell的文件服务器组织的，每个服务器的标识通常是隐藏在文件系统中，从AFS客户机登陆的用户将分辨不出他们在那个服务器上运行，因为从用户的角度上看，他们想在有识别的Unix文件系统语义的单个系统上运行...它是一个十分安全的基于kerbero的系统，它使用访问控制列表(ACL）以便可以进行细粒度的访问，这不是基于通常的Linux和Unix安全模型。开发协议IBM Public，运行在linux下。

2.4K7 0

让python快到飞起 | 什么是 DASK ？

Dask 由两部分组成：用于并行列表、数组和 DataFrame 的 API 集合，可原生扩展 Numpy 、NumPy 、Pandas 和 scikit-learn ，以在大于内存环境或分布式环境中运行...对于可并行但不适合 Dask 数组或 DataFrame 等高级抽象的问题，有一个“延迟”函数使用 Python 装饰器修改函数，以便它们延迟运行。...这意味着执行被延迟，并且函数及其参数被放置到任务图形中。 Dask 的任务调度程序可以扩展至拥有数千个节点的集群，其算法已在一些全球最大的超级计算机上进行测试。其任务调度界面可针对特定作业进行定制。...借助 Dask 和 RAPIDS ，超级计算背景有限的研究人员和科学家可以轻松访问其新的超级计算机“Perlmutter”的惊人功能。...Dask 可以启用非常庞大的训练数据集，这些数据集通常用于机器学习，可在无法支持这些数据集的环境中运行。

3.3K12 2

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭