假设我要运行6233个模拟。这些命令被生成并存储在一个文件中，每一行一个。我想使用Slurm来调度和运行这些命令。然而，MaxArraySize的限制是2000年。因此，我不能使用一个作业数组来调度所有这些任务。
给出了一种解决方案，在中，我们创建四个单独的作业，并在文件中使用算术索引，最后一个作业有较少的任务要运行(233)。是否可以使用一个带有一个作业ID的S
浏览 9提问于2022-05-10得票数 1
回答已采纳
1回答
我在slurm中运行了一组并行作业(大约1000)，每个任务都必须分配给一个CPU。每个Slurm作业可以包含多个作业步骤，而Slurm中用于管理作业步骤的开销要比单个作业低得多。
作业数组是管理具有相同资源需求的批处理作业集合的有效机制。大多数Slurm命令可以作为单个元素(任务)或单个实体
浏览 4提问于2019-07-25得票数 4
回答已采纳
1回答
我想通过提交一个独特的作业，使用SLURM对作业数组执行类似的(并行)运行。当一个任务完成时，我想启动第二次运行，它接收第一个任务生成的文件。有可能吗？我举了个例子。我想用$SLURM_ARRAY_TASK_ID=0,1,2运行3个并行任务。当单个任务完成时，例如srun ./my_program1.exe 0完成后，我想启动srun ./my_program1
浏览 132提问于2021-10-11得票数 0
我使用SLURM运行一个作业数组，并使用下面的作业数组脚本(我是用sbatch job_array_script.sh [args]运行的)为了解释，我希望job_slurm_script.py作为数组作业
浏览 3提问于2017-09-26得票数 8
回答已采纳
1回答
这是一种反向的snakemake方法，它的主要范式是“一个作业->一个输出”，但是我需要在slurm作业提交集群中的相同输入矩阵上并行地运行很多次脚本。我怎样才能做到这一点？我试着指定多个线程、多个节点，每次都指示每个任务一个cpu，但它从不提交多个作业的数组，只是一个作业的数组。
浏览 7提问于2022-02-28得票数 0
根据我对Dask-Jobqueue (https://jobqueue.dask.org/en/latest/)的阅读，以及在我们的SLURM集群上的测试，似乎当您设置cluster.scale(n)假设您有999个作业要运行，一个集群有100个节点或插槽；更糟糕的是，假设其他人共享该集群，其中一些人可能有长期运行的作业。管理员有时需要对一些节点进行维护，因此他们会添
浏览 30提问于2019-05-15得票数 0
我试图在一个HPC-系统上并行运行一个python文件240次(因为每个单独的文件运行大约需要9分钟)。理想情况下，每个python文件都应该运行在单个核心上。每个节点有24个核心。当我运行以下发布代码时： -j $SLURM_NTASKS \\( -name "CN_ONLY*.pdb" -o -name "
浏览 2提问于2020-05-05得票数 1
我是一个实习生，负责在三个运行ubuntu的计算单元上安装slurm。现在的工作方式是将ssh放入其中一个计算单元中，并在其中运行一个作业，因为所有三个单元都通过nfs挂载共享内存。我的问题是，从我在文档中看到的情况来看，在安装slurm时，我会将每个计算单元指定为一个完全独立的节点，而我想要运行的任何使用多个核的作业仍然会受到单个节点上可用<e
浏览 0提问于2020-02-29得票数 0
回答已采纳
我一直在使用一个由200个节点组成的集群，每个节点有32个核心，用于模拟随机过程。我必须对同一系统进行大约10000次模拟，所以我在一个节点的32个内核中运行相同的模拟(使用不同的RNG种子)，直到它完成所有10000次模拟。(每个模拟完全独立于其他模拟) 在这样做的过程中，根据种子的不同，一些模拟比其他模拟需要更多的时间，一段时间后，我通常会分配给我完整的节点，但只有一个核心在运行(所以我不必要地占用了31个核心)
浏览 20提问于2020-10-23得票数 1
我必须为大约10,000个对象运行一系列python脚本。在我的目录中，每一个对象都是用参数来描述的。在我的计算机上，为了测试脚本，我只使用了一个bash文件，如下所示：
浏览 1提问于2021-07-27得票数 1
回答已采纳
1回答
根据这里的答案，用户可以通过What does the --ntasks or -n tasks does in SLURM?的ntasks参数并行运行多个作业，后跟srun。要问一个后续问题-如何指定在以这种方式并行运行作业时所需的内存量？如果3个作业并行运行，每个作业需要8G内存，是在sbatch中指定24G内存(即来自所有作业</e
浏览 49提问于2018-12-28得票数 3
回答已采纳
我最典型的用例是在多个目录(通常是R或Matlab)上运行一个脚本。我可以访问一个高性能的计算环境(基于SLURM)。从我目前的研究来看，我不清楚以下哪种方法是最有效地利用可用CPU/核心的方法。方法1:
脚本中的并
浏览 1提问于2018-08-03得票数 1
回答已采纳
我看到一些人使用Kubernetes和slurm共存，我只是好奇为什么你需要kubernetes和slurm？kubernetes和slurm之间的主要区别是什么？
浏览 624提问于2019-07-31得票数 5
我可以使用类似于以下的N数组来运行令人尴尬的并行作业：或者，我认为我可以通过手动启动8个作业，从调度的角度(即独立调度，一旦资源可用)实现同样的目标。例如，使用带有循环的简单bash脚本。我是不是遗漏了什么？
浏览 3提问于2022-06-03得票数 0
我已经为slurm分配了6个节点解算器运行平稳，没有任何错误。sacct --job=<jobNumber> --format="UserCPU&q
浏览 1提问于2018-02-01得票数 0
我有几千个作业要在一个有16个节点的SLURM集群上运行。这些作业只能在大小为7的可用节点的子集上运行。一些任务是并行化的，因此使用了单个节点的所有CPU能力，而其他任务是单线程的。因此，应该在单个节点上同时运行多个作业。任何任务都不应在多个节点上生成。目前，我提交的每个作业如下：
sbatch --nodel
浏览 1提问于2014-10-06得票数 28
回答已采纳
例如，我有一个名为myScript的脚本，它处理一个输入文件，还有一个文件名列表。也就是说，我得跑了有关存储在filenames.txt中的文件名列表。分发我在Slurm中找到的作业的唯一方法是指定-n参数，该参数重复您的命令或批处理脚本。但是请注意，我需要在每次运行中传递一个变量参数。在斯隆有可能这样做吗？我目前的解决方案是激发许多sbatch脚本，每个脚本都有一个指定<em
浏览 2提问于2015-02-14得票数 2
现在，即使在阅读Slurm文档之后，我也不知道如何并行化.1. 作业数组选项#!/myprogram "$input_file&
浏览 9提问于2022-05-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
