slurm、srun和并行
Slurm是一个开源的高性能计算（HPC）集群管理系统，用于调度和管理大规模计算任务。它提供了一个灵活的框架，可以有效地管理计算资源，包括处理器、内存和存储等。Slurm的主要特点包括可扩展性、可靠性和灵活性，使其成为许多科学计算和工程应用的首选。
Slurm可以根据用户提交的作业需求，自动分配和管理计算资源。它支持多种作业调度策略，如先进先出（FIFO）、公平分享（Fair Share）和优先级等。通过Slurm，用户可以方便地提交作业、监控作业状态、查看作业输出和错误信息等。
srun是Slurm的一个命令行工具，用于提交并行作业。它可以指定作业的资源需求、运行时间限制和作业脚本等。srun还提供了一些选项，用于控制作业的运行方式，如并行任务的数量、任务间的通信方式等。
并行计算是一种利用多个计算资源同时执行任务的方法，以提高计算效率和加速计算过程。并行计算可以分为共享内存并行和分布式并行两种方式。共享内存并行是指多个处理器共享同一块内存，通过并发执行来加速计算。分布式并行是指将任务分配给多个计算节点，每个节点独立计算并通过通信进行数据交换。
在云计算领域，Slurm和srun可以用于管理和执行大规模并行计算任务。它们可以与云计算平台集成，提供高性能的计算资源和作业调度服务。对于需要进行大规模并行计算的科学研究、工程仿真和数据分析等领域，Slurm和srun是非常有用的工具。
腾讯云提供了一系列与高性能计算相关的产品和服务，如弹性计算服务、云服务器、云硬盘和云网络等。这些产品可以满足用户对计算资源的需求，并提供灵活的计算能力和高可靠性的服务。具体的产品介绍和相关链接如下：
- 弹性计算服务（Elastic Compute Service，ECS）：提供可调整的计算能力，包括云服务器、云数据库和负载均衡等。了解更多信息，请访问腾讯云ECS产品页面：https://cloud.tencent.com/product/ecs
- 云服务器（Cloud Server，CVM）：提供可扩展的虚拟服务器实例，支持多种操作系统和应用程序。了解更多信息，请访问腾讯云CVM产品页面：https://cloud.tencent.com/product/cvm
- 云硬盘（Cloud Block Storage，CBS）：提供高性能的块存储服务，用于存储和访问大规模数据。了解更多信息，请访问腾讯云CBS产品页面：https://cloud.tencent.com/product/cbs
- 云网络（Cloud Virtual Network，CVN）：提供灵活的网络配置和管理功能，用于构建和管理云计算网络。了解更多信息，请访问腾讯云CVN产品页面：https://cloud.tencent.com/product/vpc
通过使用腾讯云的这些产品，用户可以轻松地部署和管理Slurm和srun，并利用云计算平台提供的高性能计算资源进行并行计算。腾讯云的产品具有高可用性、可扩展性和安全性，可以满足各种规模和需求的用户。
相关·内容
1回答
我有一个通常在SLURM下运行的代码。就像这样 if ! lengthy_command
then
echo "Error occured"
fi 出于记帐的目的，我想转到基于srun的命令启动： if ! srun <srun params> lengthy_command
then
echo "Error occured"
fi 但更改该行后，脚本将不再在交互式会话中运行(在SLURM之外)。有没有办法将脚本泛化，这样它就可以在这两种情况下运行？我在srun文档中看不到任何指向这个方向的东西。
浏览 26提问于2019-01-15得票数 3
回答已采纳
我使用slurm管理的集群运行一些纱线/hadoop基准测试。为此，我在slurm分配的节点上启动hadoop服务器，然后在它们上运行基准测试。我意识到这并不是运行hadoop集群的初衷，而是需要。
为此，我首先编写了一个与srun (例如srun -N 4 setup.sh )一起运行的脚本。此脚本写入配置文件并在分配的节点上启动服务器，由编号最低的计算机充当主服务器。所有这些都能工作，而且我能够运行应用程序。
但是，由于我希望启动服务器一次，然后在服务器上启动多个应用程序，而不重新启动/编码开始时的所有内容，所以我希望使用salloc。我原以为这将是运行salloc -N 4然后运行sru
浏览 3提问于2014-03-03得票数 17
我正在尝试运行一个python脚本，其中一部分代码将根据SLURM环境变量被并行化。我不认为确切的代码是重要的，但作为参考，我想通过来训练我的网络。
现在，问题是我需要通过srun运行我的脚本，但是这会产生我不想要的脚本的多个并行实例。
最基本的例子是：
#!/bin/sh
#SBATCH -N 2
#SBATCH --ntasks=2
srun python myscript.py
现在我将有2个节点和2个任务，这意味着当我运行python myscript.py时，将有2个myscript.py实例并行运行。
然而，这不是我想要的。我希望只有一个运行myscript.py的实例，但是它应
浏览 2提问于2020-05-19得票数 2
回答已采纳
1回答
我正在尝试创建一个函数，作为SLURM的srun命令的插入替代。这个包装器函数的需要是，当在SLURM控制下启动时，我希望使用srun编写脚本，但仍然能够在没有SLURM的情况下运行脚本。
到目前为止，我有这样的功能：
srun_wrap() {
if [ -z "$SLURM_JOB_ID" ]
then
# Not running under SLURM so start the code without srun
"${@:2}"
else
# A SLURM job ID found
浏览 0提问于2019-01-16得票数 1
似乎我不能在同一个节点上运行并行作业。我已经在一台机器(Ubuntu18.04 CPUs=8 Boards=1 SocketsPerBoard=1 CoresPerSocket=4 ThreadsPerCore=2 RealMemory=15976)上设置了SLURM，以便与Kaldi一起使用。
为了测试我是否可以并行执行作业，我使用了一个简短的python代码片段：
#!/usr/bin/env python
# demo.py:
# usage: python demo.py [job-number]
import sys
import socket
from time import s
浏览 30提问于2019-10-30得票数 1
1回答
我很难理解SLURM从sbatch脚本开始工作的方式。看起来SLURM忽略了--ntasks参数，并立即启动了批处理文件中的所有srun任务。下面是一个示例，使用对在StackOverflow上的代码进行的轻微修改：
$ salloc --ntasks=1 --ntasks-per-core=1
salloc: Granted job allocation 1172
$ srun -n 1 sleep 10 & time srun -n 1 echo ok
[1] 5023
srun: cluster configuration lacks support for cpu bindin
浏览 5提问于2015-01-13得票数 1
回答已采纳
slurm-wlm 17.11.2
从Ubuntu Apt repos安装，Ubuntu:18.04
我们有一个由20个相同节点组成的集群。运行下面的简单脚本会给我带来一个令人困惑的问题。所有作业都认为它们在node3上运行，而运行hostname命令则给出了准确的答案。这也是输出文件名的一个问题。我希望有许多不同的输出，但我只得到一个，与'node3‘在文件名。这似乎是一个Bash ()/变量替换错误。包皮
SLURMD_NODENAME
在一个
bash -c "echo Bash3: \$SLURMD_NODENAME"
很管用。但我为什么要这么做
浏览 0提问于2018-07-13得票数 0
1回答
我有一个R代码，我想使用Slurm在几个节点上执行，每一次迭代我的参数都会在一个节点上执行。这是我的Slurm代码：
#!/bin/bash
#SBATCH -o job-%A_task.out
#SBATCH --job-name=paral_cor
#SBATCH --partition=normal
#SBATCH --time=1-00:00:00
#SBATCH --mem=124G #I want to use 124Go / node
#SBATCH --cpus-per-task=32 #and 32CPUs / node
#SBA
浏览 0提问于2019-05-23得票数 0
我有一个很大的任务，我想把它分成几个部分，并使用slurm并行运行。具体来说，我想将工作分成更多的部分，而不是在我的系统上用我想要分配的资源同时运行。我想到的基本成语是调用sbatch，将工作划分为k (大于某些并发任务的最大N数)部分，并有slurm队列任务，直到有可用的资源来运行它们。具体来说，假设我有一个文件，其中每一行代表要完成的一段工作，我想把这些工作分成1000个部分，运行一些单线程脚本来处理集群中的每个部分，总共有128个cpus。我当前的S批处理脚本如下所示：
#!/bin/bash
#SBATCH --cpus-per-task=1
#SBATCH --ntasks=128
浏览 1提问于2022-02-17得票数 1
回答已采纳
我仍然在探索如何使用Slurm调度程序，这一次我真的被困住了。以下批处理脚本不知何故不起作用：
#!/usr/bin/env bash
#SBATCH --job-name=parallel-plink
#SBATCH --mem=400GB
#SBATCH --ntasks=4
cd ~/RS1
for n in {1..4};
do
echo "Starting ${n}"
srun --input none --exclusive --ntasks=1 -c 1 --mem-per-cpu=100G plink --memory 100000 --bfile
浏览 10提问于2022-06-27得票数 0
回答已采纳
我试图与一个Slurm批处理脚本并行运行多个python脚本。请看下面的示例：
#!/bin/bash
#
#SBATCH --job-name=test
#SBATCH --output=/dev/null
#SBATCH --error=/dev/null
#SBATCH --ntasks=2
#SBATCH --cpus-per-task=1
#SBATCH --mem-per-cpu=1G
#SBATCH --partition=All
#SBATCH --time=5:00
srun sleep 60
srun sleep 60
wait
如何调整脚本，使执行只需60秒(而不是12
浏览 2提问于2021-03-25得票数 2
回答已采纳
下面是三个不同的sbatch脚本，它们产生了大致相似的结果。
(我只显示脚本不同的部分；##前缀表示通过将脚本提交给sbatch获得的输出。)
脚本0
#SBATCH -n 4
srun -l hostname -s
## ==> slurm-7613732.out <==
## 0: node-73
## 1: node-73
## 2: node-73
## 3: node-73
脚本1
#SBATCH -n 1
#SBATCH -a 1-4
srun hostname -s
## ==> slurm-7613733_1.out <==
## node
浏览 4提问于2017-09-29得票数 1
回答已采纳
1回答
我有一个sbatch脚本，用于通过不同的步骤将作业数组提交到Slurm：
#!/bin/bash
#SBATCH --ntasks 1
#SBATCH --nodes 1
#SBATCH --time 00-01:00:00
#SBATCH --array=0-15
dir="TEST_$SLURM_ARRAY_JOB_ID"
org=base-case
dst=$dir/case-$SLURM_ARRAY_TASK_ID
#step 0 -> I'd like that this step was executed only by one task!
sru
浏览 0提问于2020-05-06得票数 0
目标：
了解如何使用批处理作业提交来运行或协同调度或执行可执行文件/应用程序。
使用srun或mpirun
研究：
代码片段：
#!/bin/bash
#SBATCH --job-name LEBT
#SBATCH --partition=angel
#SBATCH --nodelist=node38
#SBATCH --sockets-per-node=1
#SBATCH --cores-per-socket=1
#SBATCH --time 00:10:00
#SBATCH --output LEBT.out
# the slurm module p
浏览 6提问于2016-11-03得票数 3
回答已采纳
1回答
我正在Raspberry Pi 4的集群上设置Slurm，成功地在我的24 RPi集群上配置和使用Slurm，并允许每个RPi执行4个MPI任务。因此，如果我对所有节点(-N 24)和所有核心(-n 96)进行MPI运行(或者使用"srun“或”s批处理“(和批处理脚本))，它就会像我所期望的那样工作。
一个典型的"slurm.conf“行用于RPi节点的例子是：
NodeName=foo-001 CPUs=4 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
此表单有24个节点项。整个分区条目是：
Partit
浏览 11提问于2022-02-24得票数 1
1回答
在集群上运行openmp
、、、
我必须在具有不同配置(例如不同节点数)的集群上运行openmp程序。但是，我面临的问题是，每当我试图用两个节点运行程序时，同一段程序就会运行两次，而不是并行运行。
我的节目-
gettimeofday(&t0, NULL);
for (k=0; k<size; k++) {
#pragma omp parallel for shared(A)
for (i=k+1; i<size; i++) {
//parallel code
}
#pragma omp barrier
for (i=k+1; i<size; i
浏览 1提问于2013-10-13得票数 3
1回答
我在slurm中运行了一组并行作业(大约1000)，每个任务都必须分配给一个CPU。阅读，我发现了以下内容：
最佳实践，大量职务
考虑将相关工作放入具有多个作业步骤的单一Slurm作业中，这既是出于性能原因，也是为了便于管理。每个Slurm作业可以包含多个作业步骤，而Slurm中用于管理作业步骤的开销要比单个作业低得多。
作业数组是管理具有相同资源需求的批处理作业集合的有效机制。大多数Slurm命令可以作为单个元素(任务)或单个实体(例如，在单个命令中删除整个作业数组)来管理作业数组。
这似乎意味着具有多个作业步骤的单个作业(例如，一个具有多个srun调用的批处理脚本，每个调用具有相同
浏览 4提问于2019-07-25得票数 4
回答已采纳
我最近在看关于mpirun vs mpiexec和关于srun vs sbatch，但是我想知道mpirun和slurm和srun有什么关系。
通常在我看到的示例中，发送到sbatch的文件中包含srun <program>来执行MPI程序，但我有时也会看到使用mpirun或mpiexec的文件。然而，我不明白为什么有人会这样做。如中所示，似乎使用mpirun或mpiexec可能会产生各种类型的(依赖于实现？)错误，没有理由不使用srun。
这是准确的吗?或者，在slurm管理的集群上执行程序时，您希望使用mpirun或mpiexec而不是srun，这是有充分理由的吗？
浏览 7提问于2018-07-12得票数 2
1回答
我必须在HPC集群上执行一些测试，并且我使用Slurm作为工作负载管理器。由于我必须对不同的分配执行类似的测试，所以我决定利用Slurm的异构工作支持。这是我的Slurm脚本：
# begin of slurm_script.sh
#!/bin/bash
#SBATCH -p my_partition
#SBATCH --exclusive
#SBATCH --time 16:00:00 # format: HH:MM:SS
#SBATCH -N 1 # 1 node
#SBATCH --ntasks-per-node=32
浏览 25提问于2022-10-24得票数 0
1回答
我想在HPC上使用Slurm调度程序并行一个R脚本。
SLURM配置为SelectType: CR_Core_Memory。
每个计算节点有16个核心(32个线程)。
我将R脚本传递给Slurm，配置如下，使用作为SLURM的接口。
#!/bin/sh
#SBATCH --job-name={{ job_name }}
#SBATCH --partition=normal
#SBATCH --output={{ log_file | /dev/null }} # you can add .%a for array index
#SBATCH --error={{ log_file | /dev
浏览 0提问于2019-02-27得票数 3
回答已采纳
我开始使用Slurm，我假设我传递给sbatch的提交脚本在控制器上运行，标记为srun的步骤将在计算节点上作为作业步骤运行。考虑下面的示例：
#!/bin/bash
#SBATCH --cpus-per-task 12
#SBATCH --gres=gpu:1
#SBATCH --job-name=hello
hostname
srun hostname
我希望看到的是我提交的机器的主机名，然后是为该作业分配的计算节点的名称。相反，整个脚本似乎都在计算节点上运行。我在日志中看到计算节点的主机名，然后它失败了，因为它在该节点上找不到srun：
/var/spool/slurm/d/job00
浏览 288提问于2019-05-24得票数 1
回答已采纳
2回答
朱莉娅和斯隆
、、
我有一个主节点和3个计算节点。朱莉娅在主节点上是在/apps上，在/state/p1/app上。
我没有把朱莉娅当成贫民窟的模组。
如何设置Julia安装，以便可以使用ClusterManager通过slurm调用Julia脚本？
目前我得到了一个错误
srun: error: node-0-2: tasks 0-2: Exited with exit code 2
朱莉娅剧本：
using ClusterManagers
addprocs(SlurmManager(3), partition="slurm", t="00:5:00")
hosts = []
浏览 0提问于2018-02-05得票数 1
我有一个文件，每行只有一个命令，如下所示： myprog.sh <args abc>
myprog.sh <args def> 我正在尝试将这些提交为数组中的作业。阵列应使用1台主机以及该主机上的所有cpus。相反，每个阵列使用2个主机，并在这两个主机上执行这两个命令。 我想要的： host1
- myprog.sh <args abc> slurm-1_1.out
- myprog.sh <args def> slurm-1_2.out slurm- 1 _1.out将具有来自作业1的标准输出，而slurm1_2.out将具有来自jo
浏览 100提问于2021-06-26得票数 0
1回答
根据这里的答案，用户可以通过What does the --ntasks or -n tasks does in SLURM?的ntasks参数并行运行多个作业，后跟srun。要问一个后续问题-如何指定在以这种方式并行运行作业时所需的内存量？ 如果3个作业并行运行，每个作业需要8G内存，是在sbatch中指定24G内存(即来自所有作业的内存总和)还是不在sbatch中给出内存参数，而是为每个srun指定8G内存
浏览 49提问于2018-12-28得票数 3
回答已采纳
1回答
我目前正在我的项目中使用slurm，并试图运行一个非常简单的hello world作业。我希望将我的stdout和错误重定向到特定位置的特定文件。因此，我使用了以下命令：sudo su -c 'sbatch /home/slurm/job.script --error=/home/slurm/job%j.out --output=/home/slurm/job%j.out' slurm。但我完全被忽视了。他只是尝试(并且失败了，因为他没有权限)来创建一个发出命令的文件。我用的是Debian 10流浪者盒子。我的slurm版本是slurm-wlm 18.08.5-2 (来自sin
浏览 2提问于2021-10-29得票数 1
回答已采纳
我想了解作业的代码或应用程序如何通过使用--srun甚至节点到达分配的计算机节点？ 我读到集群通常有共享的文件系统。这是否意味着节点仅从共享文件系统获取作业的代码，或者节点之间是否直接通信？ 不幸的是，我没有在slurm的文档中找到关于它的信息。
浏览 90提问于2019-10-15得票数 1
回答已采纳
1回答
我想通过提交一个独特的作业，使用SLURM对作业数组执行类似的(并行)运行。当一个任务完成时，我想启动第二次运行，它接收第一个任务生成的文件。有可能吗？我举了个例子。 我想用$SLURM_ARRAY_TASK_ID=0,1,2运行3个并行任务。当单个任务完成时，例如srun ./my_program1.exe 0完成后，我想启动srun ./my_program2.exe 0 < input_from_myprogram1_taskid=0，即使srun ./my_program1.exe 1仍在运行(每个任务的执行时间可能略有不同)。它安全吗?它有意义吗？ #!/bin/bash
#
浏览 132提问于2021-10-11得票数 0
2回答
因此，我有一个sbatch (slurm作业调度程序)脚本，其中我通过3个脚本处理大量数据: foo1.sh、foo2.sh和foo3.sh。
to和foo2.sh是独立的，我想同时运行它们。foo3.sh需要foo1.sh和foo2.sh的输出，所以我正在构建一个依赖项。然后我必须重复30次。
让我们说：
## Resources config
#SBATCH --ntasks=30
#SBATCH --task-per-core=1
for i in {1..30};
do
srun -n 1 --jobid=foo1_$i ./foo1.sh &
srun -n
浏览 0提问于2014-11-08得票数 0
salloc的默认行为将在从中调用salloc的节点上运行任何与shell相关的命令，而从该salloc作业shell调用的任何srun命令将在分配的节点上运行。有没有人知道一种方法，可以让salloc在远程节点作业shell上以交互方式运行所有命令？ 下面是我看到的当前默认行为的一个示例。理想情况下，第一个hostname命令将在slurm-node02上运行并返回该主机名。谢谢! [testyboi@slurm-node01 ~]$ salloc --nodelist=slurm-node02
salloc: Granted job allocation 890
[testyboi@sl
浏览 56提问于2020-12-11得票数 1
我试图在一个HPC-系统上并行运行一个python文件240次(因为每个单独的文件运行大约需要9分钟)。理想情况下，每个python文件都应该运行在单个核心上。每个节点有24个核心。python文件接受两个输入文件，每组一个：
从CN_ONLY0.pdb到CN_ONLY239.pdbI_ONLY0.pdb到I_ONLY239.pdb.
当我运行以下发布代码时：
parallel="parallel --delay .2 \
-j $SLURM_NTASKS \
--joblog runta
浏览 2提问于2020-05-05得票数 1
1回答
我是Slurm新手，我试图启动几个可执行文件并行运行(在下面的示例中，它只是date命令)。我希望他们在不同的时间开始，间隔很短的时间。
我做了一些调整，尝试在两次运行之间添加额外的行，例如"srun leepy5s &“或使用下面所示的"--begin”选项。特别是，"--begin“选项失败，表示"--begin被忽略，因为节点已经被分配”。
并行模块似乎无法在我们的集群中使用。
#!/bin/bash
#SBATCH --output=parallel_test_%j.out # Standard output and error log
#S
浏览 1提问于2019-06-23得票数 1
回答已采纳
我想使用命令spark-submit在slurm集群上使用srun和sbatch命令运行一个python脚本。当我运行当前脚本时，它将一直运行到结束，并且结束状态为已完成。但是，查看spark的历史服务器，我可以看到所有的作业ids都被命名为"local...“。当我检查环境变量时，"spark.master“总是设置为local*。我尝试了很多东西，阅读了很多文档，但我找不到如何使用多个工人。 下面是我的配置： #SBATCH --time=00:05:00
#SBATCH --nodes=4
#SBATCH --ntasks=4
#SBATCH --mem=4G
#SBA
浏览 11提问于2019-04-07得票数 1
回答已采纳
我正在尝试弄清楚“任务”的概念在SLURM中是什么意思。我已经找到了this answer on SO，它建议我使用以下工作脚本： #!/bin/bash
#SBATCH --ntasks=2
srun --ntasks=1 sleep 10 &
srun --ntasks=1 sleep 12 &
wait 作者说，这个作业总共为他运行了12秒，因为sleep 10和sleep 12这两个步骤是并行运行的，但我不能重现这一点。 如果我将上面的文件保存为slurm-test并运行 sbatch -o slurm.out slurm-test, 我看到我的作业运行了23秒
浏览 177提问于2021-06-30得票数 2
回答已采纳
在我们的小型集群中新安装和配置的计算节点上，我无法使用批处理脚本和“sbatch”命令提交slurm作业。提交后，请求的节点将更改为“耗尽”状态。但是，我可以使用'srun‘交互地运行相同的命令。
作品：
srun -p debug --ntasks=1 --nodes=1 --job-name=test --nodelist=node6 -l echo 'test'
不起作用：
sbatch test.slurm
用test.slurm
#!/bin/sh
#SBATCH --job-name=test
#SBATCH --ntasks=1
#SBATCH --nod
浏览 0提问于2019-03-22得票数 1
回答已采纳
我正在尝试在SLURM管理的集群中启动多个任务，并希望避免处理数十个文件。现在，我有50个任务(下标为i，为了简单起见，i也是我程序的输入参数)，每个任务都有一个指示计算配置的bash文件slurm_run_i.sh，以及srun命令： #!/bin/bash
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=1
#SBATCH -J pltCV
#SBATCH --mem=30G
srun python plotConvergence.py i 然后，我使用另一个bash文件slurm_run_all.sh提交所有这些任务 #!/bin/bash
f
浏览 38提问于2020-04-16得票数 1
回答已采纳
我通过SLURM提供了一个大集群。我想在每个请求的节点上启动我的脚本，例如，在每个具有指定数量的核心的节点上启动./calc。例如，在2个节点上，每个节点16个核心。 我从sbatch脚本开始 #SBATCH -N 2
#SBATCH --ntasks-per-node=16
srun -N 1 ./calc 2 &
srun -N 1 ./clac 2 &
wait 然而，它并没有像预期的那样工作。我尝试了--ntask --nodes --cpus-per-task的许多配置，但都不起作用，我非常迷茫。 我也不明白SLURM中任务和CPU之间的区别
浏览 166提问于2021-04-30得票数 0
我们目前已经使用SLURM作为资源管理器设置了一个GPU计算集群。由于这是一个用于深入学习的集群，我们通过使用nvidia-docker映像来管理依赖关系，以方便不同的框架和CUDA版本。
我们的典型用例是使用srun分配资源，并给出一个运行nvidia-docker的命令，该命令运行实验脚本，如下所示：
srun --gres=gpu:[num gpus required] nvidia-docker run --rm -u $(id -u):$(id -g) /bin/bash -c [python scripts etc..] &
我们发现了一个问题，如果使用scancel命令取
浏览 0提问于2019-03-14得票数 2
我管理一个由许多用户组成的Slurm集群，集群的操作对于所有用户来说都是“完全正常”的；除了一个用户。这个用户可以在20-25秒后通过Slurm执行命令。
下面的最小示例再现错误：
$ sudo -u <the_user> srun --pty sleep 25
srun: job 110962 queued and waiting for resources
srun: job 110962 has been allocated resources
srun: Force Terminated job 110962
srun: Job step aborted: Waiting
浏览 38提问于2021-04-09得票数 2
我有以下名为gzip2zipslurm.sh的SLURM作业脚本
#!/bin/bash
#SBATCH --mem 70G
#SBATCH --ntasks 4
echo "Task 1"
srun -n1 java -Xmx10g -jar tar2zip-1.0.0-jar-with-dependencies.jar articles.A-B.xml.tar.gz &
echo "Task 2"
srun -n1 java -Xmx10g -jar tar2zip-1.0.0-jar-with-dependencies.jar articles.
浏览 1提问于2018-09-20得票数 1
回答已采纳
假设我正在运行一个带有命令行参数的SLURM作业，比如srun sleep 1000。squeue和scontrol show job ID显示已执行的命令sleep，但不显示其参数1000。
我的问题是，如何从作业ID获得传递给SLURM作业命令(本例中为1000)的参数？
我用的是slurm 17.02.3
浏览 1提问于2017-08-30得票数 4
回答已采纳
SLURM文档中使用的“作业”、“任务”和“步骤”是如何相互关联的？
AFAICT，作业可以由多个任务组成，也可以由多个步骤组成，但是，假设这是真的，我仍然不清楚任务和步骤是如何关联的。
如果能看到一个例子，说明作业/任务/步骤的全部复杂性，将是有帮助的。
浏览 1提问于2017-09-30得票数 37
回答已采纳
假设我要运行6233个模拟。这些命令被生成并存储在一个文件中，每一行一个。我想使用Slurm来调度和运行这些命令。然而，MaxArraySize的限制是2000年。因此，我不能使用一个作业数组来调度所有这些任务。
给出了一种解决方案，在中，我们创建四个单独的作业，并在文件中使用算术索引，最后一个作业有较少的任务要运行(233)。
是否可以使用一个带有一个作业ID的S批处理脚本来完成这个任务？
我在使用作业数组时设置了ntasks=1。在这种情况下，更大的任务有帮助吗？
Update：按照Damien的解决方案和给出的示例，我在bash脚本中得到了以下行：
curID=$(( $
浏览 9提问于2022-05-10得票数 1
回答已采纳
2回答
我想在集群中使用Keras，使用Slurm作为作业引擎。
如果我打开一个终端并运行以下命令，一切都正常：
$python
>>> import tensorflow
>>> import keras
但是，如果我将import tensorflow和import keras放在Python文件中，然后从slurm调用：
srun [bunch of parameters for my cluster] python mypythonfile.py
然后我得到以下错误：ImportError: No module named keras。
在使用Slurm的集
浏览 7提问于2017-09-07得票数 1
回答已采纳
我试图理解SLURM的命令和命令之间的区别。我会很高兴得到一个一般性的解释，而不是以下问题的具体答案，但以下是一些具体的混淆点，可以作为一个起点，并给出一个想法，我要寻找什么。
根据的说法，srun是用来提交作业的，sbatch是用来提交作业供以后执行的，但是实际的差别对我来说并不清楚，他们的行为似乎是一样的。例如，我有一个有两个节点的集群，每个节点都有两个CPU。如果我连续执行srun testjob.sh & 5x，它将很好地排队等待第五个作业，直到CPU可用为止，执行sbatch testjob.sh也是如此。
为了使问题更加具体，我认为一个很好的起点可能是：，我可以用一个做一些
浏览 21提问于2017-05-03得票数 148
回答已采纳
1回答
我正在使用slurm来管理我们的一些计算，但有时作业会因为内存不足错误而终止，即使不应该是这种情况。这个奇怪的问题一直存在于使用多进程的python作业中。
下面是一个重现此行为的最小示例
#!/usr/bin/python
from time import sleep
nmem = int(3e7) # this will amount to ~1GB of numbers
nprocs = 200 # will create this many workers later
nsleep = 5 # sleep seconds
array = list(range(nm
浏览 0提问于2018-09-20得票数 1
当通过slurm srun --pty bash运行Python脚本时，我会得到一个神秘的错误消息Bus error: core dumped。
我搜索了slurm文档，它没有提到这个错误类型。
怎么回事，我该怎么解决呢？
我在bus error上找到了这些通用信息，但这并不能解释在SLURM环境中发生这种情况的原因和原因，以及如何避免这种情况：
浏览 24提问于2021-10-29得票数 0
回答已采纳
我有几个节点的SLURM集群，每个节点有16个vcpu。我尝试运行以下代码： #SBATCH --nodes 2
#SBATCH --ntasks 2
#SBATCH -c 16
srun --exclusive --nodes=1 program1 &
srun --exclusive --nodes=1 program2 &
wait program1和program2分别需要16cpu，我希望分配2个32核的节点，在第一个节点上运行program1，在第二个节点上运行program2，但我得到了以下错误消息： srun: error: Unable to create
浏览 310提问于2020-07-24得票数 0
回答已采纳
当尝试在集群上使用MPI时，我遇到了一个奇怪的问题，它使用Slurm作为作业调度程序。在这两种情况下，我都试图运行这个简单的python程序：
from mpi4py import MPI
print('TEST')
创建一个批处理脚本(在其中，我导出合适的虚拟环境并运行这个python程序)并将它与sbatch一起使用非常有用。
但是，使用终端中的srun运行相同的程序(在同一个虚拟环境中)会产生以下错误：
*** An error occurred in MPI_Init_thread
*** on a NULL communicator
*** MPI_ERRORS_AR
浏览 22提问于2022-02-07得票数 1
回答已采纳
我有以下Bash脚本，用于将作业提交给集群上的：
#!/bin/bash
#SBATCH -A 1234
#SBATCH -t 2-00:00
#SBATCH -n 24
module add xxx
srun resp.com
#SBATCH行是SLURM命令：
#SBATCH -A 1234是项目编号(1234)。
#SBATCH -t 2-00:00是工作时间
#SBATCH -n 24是核的数目
module add xxx加载 xxx (在本例中，我实际上使用的是module add gaussian，其中gaussian是一个计算量子化学程序)。
srun是
浏览 3提问于2015-02-17得票数 0
我可以使用slurm批处理脚本和srun跨多个计算节点启动mpi作业。作为slurm脚本的一部分，我希望启动一个shell脚本，该脚本在作业使用的节点上运行，以收集有关在该节点上运行的作业任务的信息(使用top命令)。我希望shell脚本在节点级别运行，而不是在任务级别运行。shell脚本只在单个计算节点上运行得很好，对于使用单个计算节点的作业，我可以将其作为slurm脚本的一部分在后台运行。但是还不清楚如何使用srun让它在多个计算节点上运行。我尝试在slurm批处理脚本中使用多个srun命令，但shell脚本仅在计算节点上启动。
浏览 0提问于2020-04-14得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
