当未设置-- GPU时，防止在SLURM中使用GPU
在SLURM中，如果未设置--GPU选项，可以通过以下方式防止使用GPU：
- 禁用GPU资源分配：在SLURM作业提交脚本中，可以使用
--gres选项来指定所需的资源类型，例如--gres=gpu:0表示需要0个GPU资源。通过将GPU资源数量设置为0，可以确保作业不会使用任何GPU资源。 - 限制GPU可见性：SLURM提供了
--cpus-per-task选项，可以用来限制作业使用的CPU核心数量。通过将--cpus-per-task设置为0，可以确保作业无法访问任何CPU核心，从而间接地阻止作业使用GPU资源。 - 使用SLURM的资源限制功能：SLURM提供了资源限制功能，可以通过
scontrol命令来设置作业的资源限制。可以使用scontrol show config命令查看当前的资源限制配置，然后使用scontrol update jobid=<jobid> <resource>=0命令将相应的资源限制设置为0，从而阻止作业使用该资源。
需要注意的是，以上方法仅适用于SLURM作业调度系统，具体的实施方式可能会因系统配置和版本而有所差异。此外，如果需要在SLURM中使用GPU资源，应该正确设置相关的选项，以确保作业能够正常访问和使用GPU。
相关·内容
1回答
这是我的ansible库存文件：
[slurm_master]
slurm-gpu-0 ansible_host=192.168.0.24 ansible_connection=local
[slurm_compute]
slurm-gpu-1 ansible_host=192.168.0.200 cpus=16 gpus=2
slurm-gpu-2 ansible_host=192.168.0.124 cpus=1 gpus=0
[slurm_partition_gpu]
浏览 4提问于2020-05-15得票数 1
场景:我已经在一台Ubuntu机器上安装了。用户可以登录这台机器来完成一些GPU和非GPU任务.
目标：--我想阻止那些用户直接使用GPU。只有使用slurm启动的作业才能使用GPU。
我所做的:为了防止GPU的直接使用，我更改了/dev/nvidiaN (chown root.gpu /dev/nvidia*)的所有者，现在只有组gpu中的用户才能使用它们。这是可行的。问题是: slurm作业当然是以与其启动时相同的用户身份运行的，因此这些提交的作业也不能使用任何GPU。
有办法实现这个目标吗？我考虑使用镜像用户(user -> user-slurm在组gpu中，但没有登录)，也可以使
浏览 0提问于2018-08-09得票数 2
我正在通过SLURM调度程序向集群提交作业，假设我可以访问集群中的5种类型的GPU。它们是A、B、C、D、E类型的GPU。我想提交一个作业，请求使用A或B或C类型的GPU，而不是D或E类型的GPU。因此，我需要一些带有--gres标志的or逻辑。 作为一个具体的示例，下面是当我请求一个单一类型的图形处理器(在本例中是RTX2080)时的样子：qlogin -p gpu --gres=gpu:rtx2080:1 --mem=8g -c 2我想这样做，但允许SLURM从允许的图形处理器类型列表中进行选择
浏览 39提问于2021-04-05得票数 1
如果我没有指定任何--gres=gpu:1选项，那么进程将耗尽计算节点中的所有GPU。
我们只对GPU共享使用Slurm，所以我们希望每个进程都自动分配一个GPU .是否可以在默认情况下指定srun --gres=gpu:1
浏览 1提问于2020-12-12得票数 2
回答已采纳
1回答
目前，我们已经建立了Slurm来管理一个由六个节点组成的小型集群，每个节点有四个GPU。到目前为止，这已经很好了，但是现在我们希望使用Intel Corei7-5820K CPU来完成只需要CPU处理能力的任务。每个CPU有6个核心和12个线程，每个GPU需要一个线程/逻辑核心，因此剩下8个线程(每个节点)可以用于“只使用CPU”作业。
目前的配置：
cat /etc/slurm-llnl/gres.conf
Name=gpu File=/dev/nvidia0
Name=gpu File=/dev/nvidia1
Name=gpu File=/dev/nvidia2
Name=gpu Fil
浏览 0提问于2016-05-19得票数 1
回答已采纳
我试图在Ubuntu20.04上设置配置文件。我尝试过几次，并在其他网站(、、)和上搜索错误。另外一个类似的也是如此。
考虑到有关我的计算机的以下信息，必须在slurm.conf文件中提供最低要求的信息。
我的电脑的一般信息；
RAM: 125.5 GB
CPU: 1-20 (Intel® Xeon(R) CPU E5-2687W v3 @ 3.10GHz × 20 )
Graphics: NVIDIA Corporation GP104 [GeForce GTX 1080] / NVIDIA Corporation
OS: Ubuntu 20.04.2 LTS 64 bit
我希望有两个
浏览 12提问于2021-06-06得票数 1
1回答
我在Slurm集群上分配gpu资源时遇到了问题。
指定1个GPU，如下图所示，提示无法分配gres资源。如果有多个，结果是一样的。
$ srun --gres=gpu:1 --pty bash
srun: error: Unable to create step for job 73: Invalid generic resource (gres) specification
计算节点的gres信息似乎正确，如下所示
$ sinfo -o "%20N %10c %10m %25f %10G "
NODELIST CPUS MEMO
浏览 82提问于2021-01-13得票数 1
1回答
我们刚刚开始使用slurm来管理我们的GPU(目前只有2个)。我们使用的是ubuntu 14.04和slurm。我已经配置了gres.conf和srun的工作。问题是，如果我使用--gres=gpu:1运行两个作业，那么将成功分配两个GPU并开始运行作业；现在，我希望能够在没有--gres=gpu:1的情况下运行更多的作业(除了2个GPU作业)(即作业比只使用CPU和ram)，但这是不可能的。
错误消息说，它不能分配所需的资源(即使有24个CPU核)。
这是我的gres.conf：
Name=gpu Type=titanx File=/dev/nvidia0
Name=gpu Type=ti
浏览 8提问于2016-05-07得票数 2
回答已采纳
如何在Slurm中设置每个作业可以请求的最大CPU数量？ 我们正在运行GPU集群，并希望有合理数量的CPU始终可用于GPU作业。只要任务需要GPU，这就没问题，因为gres.conf中有GPU <-> CPU映射。但这并不会阻止不要求任何GPU的作业不获取系统中的所有CPU。
浏览 126提问于2020-03-30得票数 0
在配置slurm集群时，需要在所有节点上拥有配置文件slurm.conf的副本。这些副本是一样的。在集群中需要使用GPU的情况下，您需要在所有节点上拥有一个额外的配置文件。这是gres.conf。我的问题是-该文件在每个节点上是不同的，取决于该节点上的配置，还是在所有节点上都是相同的(比如slurm.conf)。假设节点中有不同的gpus配置，并且不完全相同。
浏览 4提问于2020-03-05得票数 0
回答已采纳
我可以在slurm上运行一个作业，比如srun --gpus=2，它会将CUDA_VISIBLE_DEVICES设置为分配的GPU。但是，我不知道如何检查哪个GPUs分配了特定的作业。如果我运行scontrol show job，它将向我展示类似于TresPerJob=gpu:2的东西，但它不包含实际分配的GPU。
我在哪里能够找到这方面的信息？换句话说，如何查找分配了哪个GPU作业n？
浏览 2提问于2019-09-09得票数 4
回答已采纳
我正在尝试设置Slurm -我只有一个登录节点(称为ctm-log-01)和一个计算节点(称为ctm-深层-01)。我的计算节点有几个CPU和3个GPU。
我的计算节点一直处于drain状态，我无法确定从哪里开始.
登录节点
sinfo
ctm-login-01:~$ sinfo
PARTITION AVAIL TIMELIMIT NODES STATE NODELIST
debug* up infinite 1 drain ctm-deep-01
原因是什么？
sinfo -R
ctm-login-01:~$ sinfo -R
REASON
浏览 3提问于2020-12-11得票数 1
回答已采纳
是否有一种方法要求作业具有--gres=gpu:X对S批处理和运行作业提交？要么让作业需要该标志，要么设置每个作业(如DefMemPerNode )的默认gpus数。
我的slurm.conf当前设置为
SchedulerType=sched/backfill
SelectType=select/cons_res
SelectTypeParameters=CR_Core
我们希望用户总是定义gpu预订。
如果没有办法通过slurm配置，是否有办法强迫gpu使用仅通过slurm，并防止访问gpu而不提交作业？
浏览 4提问于2022-02-15得票数 0
1回答
我想进入具有奇异性的容器，然后运行slurm命令。例如：
singularity shell docker://tensorflow/tensorflow:1.0.0-gpu-py3
然后在它中运行我想运行的脚本：
python tf_test.py
tf_test的内容如下：
import tensorflow as tf
print(tf.random_uniform((3,2)))
我的问题是，容器不知道我在HPC或slurm存在。是否可能只在容器中运行slurm命令？我对使用sbatch特别感兴趣。使用srun然后进入容器是欺骗，而不是我想要的。
浏览 0提问于2018-03-26得票数 4
1回答
我正在使用SLURM为我拥有的ML作业从超级计算机中分配一些GPU节点。
对于单个GPU (1个节点)，一切都很好，但是当将SLURM脚本设置为多个作业时，python脚本似乎仍然只检测到1个GPU。首先，我确信节点被保留是因为下面的输出：
现在，我不知道我做错了什么，但这是我的SLURM文件：
#!/bin/bash
#SBATCH --time=00:03:00
#SBATCH -N 4
#SBATCH -C TitanX
#SBATCH --gres=gpu:1
#SBATCH -o myfile.out
# Load GPU drivers
module load cuda
浏览 5提问于2022-04-01得票数 0
一段时间以来，我一直在努力弄清楚如何在slurm上运行一个作业。
用户目录中的Python版本：
$ python -V
Python 2.7.5
$ python3 -V
Python 3.6.8
test.py包括：
import pandas as pd
import numpy as np
true = pd.read_csv("testfile.csv")
print('Just Testing. End for now.')
传递给SLURM的gpu.job：
#!/usr/bin/python3
#SBATCH --job-name=testjo
浏览 3提问于2021-04-08得票数 1
回答已采纳
我正在使用slurm，我开始尝试弄清楚为什么我的脚本没有运行/为什么它被排队了。根据我的说法，应该有足够的资源来运行，但slurm不同意。我怎么检查这个？
命令已运行：
squeue -o "%22i,%.12j,%.8u,%25R,%22b,%.7m,%6q,%6Q,%t,%V,%.S,%e,%l,%L,%M"
输出：
JOBID , NAME, USER,NODELIST(REASON) ,GRES ,MIN_MEM,QOS ,PRIORI,ST,SUBMIT_TIME
浏览 366提问于2018-07-18得票数 -1
我们在一台配备了4个GPU的计算机服务器上设置Slurm。我一直在尝试找到一种方法，让Slurm将作业分配给随机GPU，其中我以一种轻松的方式使用“随机”，这意味着例如，如果正在使用GPU 1，那么请求GPU资源的新作业应该在随机GPU上分配那些空闲的(0，2，3)。
问题是，就像现在一样，Slurm总是先分配GPU0，然后分配GPU1，然后分配2，3。这会导致GPU0随着时间的推移执行相当多的作业，因此消耗得更快。随机选择会更好。
我读过关于Sbatch等的文档，但似乎可以选择一个特定的GPU来运行作业，但不能像上面描述的那样随机选择它。
浏览 9提问于2021-05-27得票数 2
我正在使用slurm访问GPU资源。是否可以显示正在运行的slurm作业的GPU使用情况？就像在一个普通的交互式shell中使用nvidia-smi一样。
浏览 366提问于2019-12-06得票数 3
我正在尝试运行。但我有一些麻烦。首先，它可以在单个GPU(GTX TITAN X)、单个主机(intel E5-2630 v3)上处理35幅图像/秒，但是在4个GPU、单个主机上运行分布式代码时，每个进程只能处理26图像/秒。此外，它还可以在两个主机上处理8.5个图像/秒，每个主机都有4个GPU。因此，这个分布式版本的性能似乎很差。有人能给我一些建议吗?为什么我的成绩这么差。其次，我想知道更多的ps服务器是否能提高性能。因此，我尝试使用2 ps服务器，程序被日志信息阻塞：
CreateSession仍在等待工作者的响应: /job:ps/replica:0/task:1
我在slurm
浏览 3提问于2017-04-11得票数 2
我们正在寻找与salloc分配的一些建议。目前，鉴于：
% salloc -n 4 -c 2 -gres=gpu:1
% srun env | grep CUDA
CUDA_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=0
然而，我们希望不仅仅是设备0被使用。
是否有一种方法可以使用srun/mpirun指定一个salloc以获得以下内容？
CUDA_VISIBLE_DEVICES=0
CUDA_VISIBLE_DEVICES=1
CUDA_VISIBLE_DEVI
浏览 5提问于2017-09-05得票数 3
我想在提交作业之前查看GPU的内存。我设法让slurm告诉我模型：
<code>A0</code>
但我想看看内存的大小。我知道我可以使用<code>D1</code>登录到队列并使用<code>D2</code>查看资源，但是队列太满了，可能需要16小时才能给我提供资源。我如何告诉slurm告诉我这些队列GPU拥有的GPU内存？
浏览 173提问于2020-11-14得票数 0
学校拥有一个GPU计算集群，每个节点上有8个GPU。我们使用SLURM任务管理系统来管理任务。SLURM系统规定如果GPU上有任务，则不会将新任务分配给此GPU。 例如:在node1上，有8个TITAN XP GPUS，没有一个提交任务，所以我们可以使用所有8个GPUS。在这种情况下，我可以使用一个简单的c++/cuda代码来使用它们，如下所示： for(int i = 0; i < 8; i++) {
cudaSetDevice(i);
......
} 但大多数情况是有人有提交任务，他们可能只使用一个或两个GPU，like this
浏览 18提问于2019-01-15得票数 1
我有一个bash脚本submit.sh，用于向Slurm服务器提交培训作业。它的工作原理如下。正在做什么
bash submit.sh p1 8 config_file
将提交一些与config_file相对应的任务到分区p1的8个GPU。p1的每个节点都有4个GPU，因此该命令请求2个节点。
submit.sh的内容可以概括如下，其中我使用sbatch提交一个Slurm脚本(train.slurm)：
#!/bin/bash
# submit.sh
PARTITION=$1
NGPUs=$2
CONFIG=$3
NGPUS_PER_NODE=4
NCPUS_PER_TASK=10
sb
浏览 9提问于2021-01-29得票数 2
回答已采纳
当我使用选项--gres= GPU :1向一个具有两个GPU的节点提交SLURM作业时，如何获得分配给该作业的GPU的ID？为此目的是否存在环境变量？我使用的GPU都是nvidia GPU。谢谢。
浏览 11提问于2017-05-14得票数 11
回答已采纳
我已经在2节点集群上安装了Slurm。两个节点都是计算节点，其中一个也是控制器。我能够一次成功地运行多个作业的srun。我正在运行GPU作业，并已确认可以使用srun在多个GPU上运行多个作业，最多可达系统中的GPU数量。 但是，当我尝试使用相同的测试文件运行sbatch时，它将只运行一个批处理作业，并且只在同时也是控制器的计算节点上运行。其他失败，sacct摘要中的ExitCode为1:0。如果我尝试强制它在不是控制器的计算节点上运行，它将不会运行，并显示1:0退出代码。但是，只需使用srun就可以在任何计算节点上运行。 我已经确保/etc/slurm/slurm.conf文件与机器的规格
浏览 79提问于2019-02-14得票数 0
我一直在使用SLURM请求特定的GPU，如下所示；
--gres=gpu:TYPE:1
在我使用的集群上，有4个不同的GPU可用，它们都有自己特定的gres类型。
对于某些作业，我并不关心使用哪个GPU，所以我可以指定：
--gres=gpu:1
然而，有时我希望有一些特定的类型，但在这些类型中，我并不真正关心是哪种类型。基本上是第一个可用的。
因此，我希望指定如下内容：
--gres=gpu:TYPE1:1 OR --gres=gpu:TYPE2:1
这样它就会选择最早可用的那个。
然而，我一直无法找到这样的选择。此选项是否存在SLURM？
浏览 15提问于2019-07-16得票数 6
我们正在使用SLURM来管理一个小型的内部集群。我们管理的一个关键资源是GPU。当用户通过--gpus=2请求GPU时，SLURM分配给用户的GPU设置为CUDA_VISIBLE_DEVICES环境变量。
$ srun --gpus=2 bash -c 'echo $CUDA_VISIBLE_DEVICES'
0,1
我们有一个小团队，可以相信我们的用户不会滥用系统(他们可以很容易地覆盖环境变量)，所以这很好用。然而，意外地绕过这一点太容易了，因为当--gpus没有被指定时，$CUDA_VISIBLE_DEVICES是未设置的，这样用户就可以使用任何图形处理器(我们通常使用Py
浏览 89提问于2019-08-23得票数 5
回答已采纳
我有一个带有2个GPU的NVIDIA主机，有两个不同的远程用户需要在该主机上使用GPU。当每个任务都由SLURM管理的srun执行其任务时，其中一个将立即释放GPU资源，而对于另一个则处于等待资源的队列中。但是有两个GPU。为什么不是每个人都有GPU？我已经尝试过几种替代方案，它们都在参数中，但似乎在使用SRUN时，在交互形式下，负责执行任务的人在完成任务之前拥有整个机器领域。
浏览 20提问于2022-11-22得票数 0
我在一个学校的服务器上，在那里我们有一个登录节点，和几个GPU节点，可以用SLURM访问。具体来说，我正在一台拥有512 GB RAM、64 CPUS和8个GPU的机器上运行几个作业。
我想用大量的课文训练一个大型的深度学习模式。经过一些尝试和错误，似乎我需要100 GB的RAM成功加载所有的文本数据(12 GB的批处理文件在磁盘上)，在培训开始之前。然而，在培训过程中，它只使用了大约30 GB的RAM。我想运行这个模型的几个版本，所以我只能在耗尽RAM来分配之前最多运行5个版本。
有没有办法让SLURM使用可变数量的RAM？我不想不必要地占用太多的资源。以下是我目前使用的SBATCH指令：
浏览 3提问于2022-01-27得票数 1
1回答
我使用用pytorch_lightning (pytorch)编写的深度学习模型，并在slurm集群上对它们进行训练。我像这样提交作业： sbatch --gpus=1 -t 100 python train.py 当请求的GPU时间结束时，slurm会终止我的程序，并显示以下消息： Epoch 0: : 339it [01:10, 4.84it/s, loss=-34] slurmstepd: error: *** JOB 375083 ON cn-007 CANCELLED AT 2021-10-04T22:20:54 DUE TO TIME LIMIT *** 如何配置培训师在可
浏览 332提问于2021-10-04得票数 1
回答已采纳
现在，我正在使用Horovod来运行我的pytorch模型的分布式训练。我想开始为--multirun特性使用hydra配置，并使用SLURM将所有作业排入队列。我知道有Submitid插件。但我不确定，整个管道如何与Horovod合作。现在，我的训练命令如下所示： CUDA_VISIBLE_DEVICES=2,3 horovodrun -np 2 python training_script.py \
--batch_size 30 \
... 假设我想使用hydra -multirun来运行几个多gpu实验，我想使用slurm来排队运行，因为我的资源是有限的，并且大部分时间都是按顺序运行
浏览 50提问于2020-09-28得票数 0
回答已采纳
我正在尝试使用下面的命令启动slurmd.service，但它不会永久成功。如果你能帮我解决这个问题，我将不胜感激！ systemctl start slurmd
scontrol update nodename=fwb-lab-tesla1 state=idle 这是slurmd.service的状态 cat /usr/lib/systemd/system/slurmd.service
[Unit]
Description=Slurm node daemon
After=network.target munge.service
ConditionPathExists=/etc/slurm
浏览 444提问于2020-10-01得票数 0
回答已采纳
我正在尝试提交此作业： sbatch --gres=gpu:v100:1 -p defq -J convolutional-mnist /cm/shared/jobs/convolutional-mnist/convolutional-mnist.slurm sbatch:错误:批处理作业提交失败:请求的节点配置不可用 但配置似乎是正确的。下面是sinfo的输出： $ sinfo -o "%.10P %.5a %.10l %.6D %.6t %.20N %.10G"
PARTITION AVAIL TIMELIMIT NODES STATE NO
浏览 34提问于2019-01-23得票数 0
情境:我有一个4个GPU在一个节点，我想分组每个组2个GPU。
简单地说，
node0有gpu0，gpu1，gpu2，gpu3
第一组: gpu0，gpu1
第2组: gpu2，gpu3
Slurm提供，但分区不是用于在节点内部分组的。如果分区不是这种情况下的，那么您能提出另一个逻辑概念吗？
浏览 1提问于2018-04-23得票数 0
回答已采纳
我们目前已经使用SLURM作为资源管理器设置了一个GPU计算集群。由于这是一个用于深入学习的集群，我们通过使用nvidia-docker映像来管理依赖关系，以方便不同的框架和CUDA版本。
我们的典型用例是使用srun分配资源，并给出一个运行nvidia-docker的命令，该命令运行实验脚本，如下所示：
srun --gres=gpu:[num gpus required] nvidia-docker run --rm -u $(id -u):$(id -g) /bin/bash -c [python scripts etc..] &
我们发现了一个问题，如果使用scancel命令取
浏览 0提问于2019-03-14得票数 2
在安装Slurm的HPC设置中，在用户使用ssh登录之后，将执行一个脚本，其中使用带有交互式bash的srun提交作业。脚本放在.profile上，用户不能修改它。这是bash脚本文件的内容。
srun -A <ACCOUNT_NAME> -p --mem=< MEMORY> -time=HH:MM:SS -N <NUM_NODES> -gres=GPU：<NUM_GPU>-pty /bin/bash -i
有办法阻止这个用户绕过slurm吗？因为用户无论如何都可以在作业id上执行scancel。还是有一种方法可以阻止用户执行scancel命
浏览 3提问于2022-08-25得票数 1
回答已采纳
我正在使用SLURM作为调度程序的集群中运行作业。我使用选项--gres=gpu:k80指定GPU卡的类型。但是，因为群集的节点具有不同数量的卡，所以有时会出现2或4。我可以使用以下命令查看可用的设备：
echo $CUDA_VISIBLE_DEVICES
它报告一个列表，0,1或0,1,2,3。我需要列表的最大值1或3。这是我的问题: SLURM中有什么选项可以知道吗？
浏览 1提问于2021-03-15得票数 0
2回答
在我的gpucompute节点上有一个下行状态，不能在GPU节点上发送作业。在跟踪网络上的所有解决方案后，我无法返回我的“下GPU”节点。在这个问题发生之前，我在Nvidia驱动程序配置中出现了一个错误，无法通过'nvidia-smi‘检测GPU，在通过运行’NVIDIA-Linux-x86_64-410.79运行-无drm‘解决了该错误之后，我遇到了这个错误，这是由于节点的下行状态造成的。非常感谢任何帮助！
command: sbatch md1.s
sbatch: error: Batch job submission failed: Requested node configur
浏览 26提问于2020-09-25得票数 1
回答已采纳
1回答
有没有办法在Slurm上超额订阅GPU，即运行共享一个GPU的多个作业/作业步骤？我们只找到了超额订阅CPU和内存的方法，但没有找到GPU的方法。 我们希望在同一个GPU上并行运行多个作业步骤，并可选择指定每个步骤使用的GPU内存。
浏览 18提问于2019-03-15得票数 2
1回答
我试图分配两个GPU，并在这两个GPU上运行一个python脚本。python脚本需要变量$AMBERHOME (通过获取amber.sh脚本获得)和$CUDA_VISIBLE_DEVICES。对于我请求的两个GPUS，$CUDA_VISIBLE_DEVICES变量应该等于0,1。
目前，我一直在试验这个基本的脚本。
#!/bin/bash
#
#BATCH --job-name=test
#SBATCH --output=slurm_info
#SBATCH --nodes=2
#SBATCH --ntasks=2
#SBATCH --time=5:00:00
#SBATCH --parti
浏览 12提问于2022-01-02得票数 1
2回答
我写这篇文章是因为自从我使用slurm以来，我一直无法正确地使用ray。每当我使用这些命令时：
ray.init
培训师= A3CTrainer(env =“my_env”)(我已经注册我的env了)
程序崩溃时会收到以下消息：
01000000ffffffffffffffffffffffffffffffffffffffffffffffff core_worker.cc:137:未能将员工注册为Raylet。IOError: RayletClient无法向raylet注册员工。没有这样的文件或目录
这个程序在我的电脑上运行得很好，这个问题随着Slurm的使用而出现。我只向slu
浏览 15提问于2022-06-01得票数 4
我一直致力于使用CUDA加速作业的处理时间。通常这将是相当简单的，但是我遇到了一个相当有趣的问题。我们正在使用slurm来调度我们的作业，通过添加CUDA代码并启用编译，它将单个作业的时间减少了一半。在查看GPU上的负载时会出现此问题。在启用CUDA之前，我们可以在每个节点上运行6个作业。但是，启用CUDA后，我们只能在每个GPU上的每个节点上运行2个作业。
最初，我认为我的提交脚本有问题，于是尝试添加以下内容：
--ntasks-per-node=6
添加到提交命令。
这将返回一个错误，声明：
sbatch: error: Batch job submission failed: Reque
浏览 0提问于2018-08-16得票数 1
回答已采纳
我正在运行机器学习(ML)作业，这些作业使用很少的GPU内存。因此，我可以在一个GPU上运行多个ML作业。
为此，我想在gres.conf文件中添加多行代码，指定相同的设备。但是，slurm deamon似乎不接受这个，服务返回：
fatal: Gres GPU plugin failed to load configuration
我还有什么办法让这件事成功吗？
或者用SLURM不同的方法来实现这一点？
这是一个笑脸，但这一个似乎是特定于一些数据自动化系统的代码，并已启用编译。似乎比我的一般情况更具体的事情(或者至少就我所理解的情况而言)。
浏览 0提问于2021-12-02得票数 1
回答已采纳
我正在尝试在Slurm集群的GPU上运行一些TensorFlow/Jax代码。当我请求一个交互式GPU会话并运行我的代码时，一切都很完美。但是当我提交我的Slurm工作时，我会收到一个经典的failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected TensorFlow错误。
我怀疑这是个贫民窟的问题，但我不确定。有人知道错误的来源或如何解决吗？
互动会议成功：
rschaeffer@boslogin04 ~/PehlevanLab-Dopamine$ srun --pty -p gpu_tes
浏览 4提问于2020-12-28得票数 2
回答已采纳
1回答
我在使用Slurm数组时遇到了一些问题，因为它们占用的CPU是请求的两倍。
我们有一个具有60个可用于Slurm队列的核心的节点，当我启动一个具有24个cpus的玩具阵列示例时，sinfo告诉我们它们正被48个cpus使用。这是我运行的玩具示例：
sbatch --array=1-24 -N1 test_script.sh
这是test_script.sh的内容：
#!/bin/bash
#SBATCH --output=job.%J.out
#SBATCH --error=job.%J.err
#SBATCH --job-name="array_test"
#SBATCH -
浏览 1提问于2021-04-22得票数 0
我对HPC和SLURM特别陌生。下面是我用来运行python脚本的示例代码：
#!/bin/bash
# Slurm submission script, serial job
#SBATCH --time 48:00:00
#SBATCH --mem 0
#SBATCH --mail-type ALL
#SBATCH --partition gpu_v100
#SBATCH --gres gpu:4
#SBATCH --nodes 4
#SBATCH --ntasks-per-node=4
#SBATCH --output R-%x.%j.out
#SBATCH --error R-
浏览 5提问于2021-04-11得票数 2
回答已采纳
1回答
我正在使用slurm操作gpus来训练我的模型。我在节点A上配置了python环境，这是我的代码和数据存储的地方。通常做法是这样的： srun -p gpu --ntasks-per-node=1 --gres=gpu:2 python train.py 这将让slurm为我找到一个节点，并在这个节点上运行我的代码。在这里，我发现我的代码运行速度比在相同数量的gpus的本地计算机上运行的速度慢3倍。我猜原因是代码中使用的数据存储在节点A上，而slurm为我分配了一个节点B来运行我的代码。因此，节点A上的数据必须连续地从节点A传输到节点B，这会减慢处理速度。 这里我的问题是:有没有一种方法可以
浏览 19提问于2019-05-04得票数 1
我正在设置一个带有两个“物理”节点的SLURM集群。两个节点中的每个节点都有两个GPU。
我想给出一个选项，只使用其中一个GPU (并让另一个GPU仍然可用于计算)。我设法用gres设置了一些东西，但后来我意识到，即使只使用其中一个GPU，节点也会被占用，而另一个GPU无法使用。
有没有办法将GPU设置为消耗品，并在单个节点内拥有两个“节点”？并为每个分配有限数量的CPU和内存？
浏览 1提问于2018-12-19得票数 1
我正在使用带有Slurm的back-fill调度器来管理一个小型GPU集群。回填调度程序每隔bf_interval秒(默认值为30秒)做出一次调度决策。这意味着即使GPU资源可用，有时我也必须等待一段时间，直到它们被分配。我显然可以减少bf_interval，但考虑到我们没有太多的作业提交，如果我能强制slurm在作业排队时运行调度例程，那就更好了。这个是可能的吗？
浏览 0提问于2019-10-14得票数 0
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
