我正在尝试在SLURM管理的集群中启动多个任务，并希望避免处理数十个文件。现在，我有50个任务(下标为i，为了简单起见，i也是我程序的输入参数)，每个任务都有一个指示计算配置的bash文件slurm_run_i.sh，以及srun命令： #!/bin/bash sbatch slurm_run_$i.sh
done 这是可行的(集群上正在运行50个作业)，但是我发现输入文件
浏览 38提问于2020-04-16得票数 1
回答已采纳
我已经在2节点集群上安装了Slurm。两个节点都是计算节点，其中一个也是控制器。我能够一次成功地运行多个作业的srun。我正在运行GPU作业，并已确认可以使用srun在多个GPU上运行多个作业，最多可达系统中的GPU数量。但是，当我尝试使用相同的测试文件运行sbatch时，它将只运行一个批处理作业，并且只在同时也是控制器的计算节点上运行。其他失败，sacct摘要中的ExitCode为1:0。如果我尝
浏览 79提问于2019-02-14得票数 0
我正在尝试向Slurm服务器提交大量作业(数百个)，并希望避免为我想要运行的每个作业提交新的shell脚本。/bin/bash
#SBATCH -t 01:00:00
srun python retrieve.py --start=0 --end=10 我想要的是用相同的python
浏览 1898提问于2021-04-02得票数 0
我正在运行大约400个文件通过SLURM管道与批处理。当我用sbatch ./myscript.sh file_x对一个任务排队时，所有的文件都会排队到同一个节点。/bin/bash#SBATCH -n 60#SBATCH -e slurm_error/error_&#
浏览 0提问于2019-07-10得票数 2
回答已采纳
我正在尝试学习slurm系统，但我在理解上遇到了一些问题。我正在尝试使用sbatch中的--array参数并行运行一系列作业。我希望作业分布在多个节点上，但考虑到时间戳，它们似乎都在同一个节点上运行。我使用的sbatch命令：正在运行的test.sh文件：
#SBATCH</
浏览 10提问于2015-02-13得票数 0
2回答
假设我有10个.R脚本(或任务)，我希望使用一个HPC集群同时运行这些脚本。下面是一个用于运行单个job.sh脚本的.R脚本的示例：
#!/bin/
浏览 30提问于2019-12-17得票数 2
1回答
因此，我有一个使用多处理的python脚本，它有4种运行方式，这取决于它在运行时读取的环境变量APP_TYPE。
因此，我使用slurm --array使其并行。问题是，它没有生成4个作业，每个作业都有自己的任务(使用所有节点核在A/B/C/D模式下运行python脚本)，而是每次任务产生次数。也就是说，我运行sbatch batch.sh，它在每个作业中产生4个任务。请注意，我期待着在每个节点上
浏览 1提问于2021-05-28得票数 0
1回答
我正在Raspberry Pi 4的集群上设置Slurm，成功地在我的24 RPi集群上配置和使用Slurm，并允许每个RPi执行4个MPI任务。我还没能设置Slurm配置来完成这个任务。
我不希望每个MPI任务都有多个线程。我希望能够设置Slurm，以便它允许每个节点分别为192或384个MPI任务执行8或16个MPI任务。对于我目前的工作，我使用Slurm“数组”功能。例如，我的批处理脚本(使用
浏览 11提问于2022-02-24得票数 1
我想运行官方视频分类脚本here。 我计划在slurm机器上运行它。如果我想在2个节点上运行这个脚本，每个节点都有8个V100 GPU，我不确定如何正确设置SBATCH参数--ntasks或--ntasks-per-node。
浏览 446提问于2021-01-25得票数 1
我在linux上使用slurm并行运行作业，方法是请求一个节点，每个cpu运行一个任务。#!%A_%a_%t.out
#SBATCH --error=/path/recon
浏览 2提问于2021-06-17得票数 0
回答已采纳
1回答
充分利用SLURM上的所有CPU
、、、、
我想在群集上运行作业。在不同的节点上有不同数量的CPU，我不知道哪些节点将分配给我。什么是适当的选项，以便作业可以在所有节点上创建与CPU一样多的任务？#SBATCH -N 4
srun -n 128 ./run
浏览 29提问于2019-08-13得票数 3
回答已采纳
我一直在努力尝试让python脚本的多个实例在SLURM上运行。#SBATCH --cpus-per-task=1#SBATCH --mem=2Gcd $SLURM_SUBMIT_DIR~ &#x
浏览 2提问于2018-10-24得票数 0
我实现了以下脚本(通过sbatch my_script.slurm启动)：#SBATCH -o $HOME/slurm/slurm_out/%j.%N.out#SBATCH --get-user-env
#SBATCH
浏览 0提问于2014-06-05得票数 13
回答已采纳
我有几千个作业要在一个有16个节点的SLURM集群上运行。这些作业只能在大小为7的可用节点的子集上运行。一些任务是并行化的，因此使用了单个节点的所有CPU能力，而其他任务是单线程的。因此，应该在单个节点上同时运行多个作业。任何任务都不应在多个节点上生成。目前，我提交的每个作业如下：然而，此参数使slurm
浏览 1提问于2014-10-06得票数 28
回答已采纳
1回答
下面是一个test.slurm脚本的示例，用于在单个核心上运行test.py脚本：#SBATCH --job-name=test #SBATCH --ntasks=1#SBATCH --cpus-per-task=1 #SBATCH --time=
浏览 7提问于2022-03-04得票数 1
1回答
我想通过提交一个独特的作业，使用SLURM对作业数组执行类似的(并行)运行。当一个任务完成时，我想启动第二次运行，它接收第一个任务生成的文件。有可能吗？我举了个例子。我想用$SLURM_ARRAY_TASK_ID=0,1,2运行3个并行任务。当单个任务完成时，例如srun ./my_program1.exe 0完成后，我想启动srun ./my_program1.exe 1仍在运行(每个任
浏览 132提问于2021-10-11得票数 0
3回答
我正在尝试在slurm上运行一些并行代码，其中不同的进程不需要通信。我天真地使用了python的slurm包。但是，我似乎只使用了一个节点上的cpu。例如，如果我有4个节点，每个节点有5个cpu，那么我将同时只运行5个进程。如何告诉多进程在不同的节点上运行？
浏览 1提问于2016-10-11得票数 9
回答已采纳
我通过SLURM提供了一个大集群。我想在每个请求的节点上启动我的脚本，例如，在每个具有指定数量的核心的节点上启动./calc。例如，在2个节点上，每个节点16个核心。我从sbatch脚本开始 #SBATCH -N 2srun -N 1 .我也不明白SLURM中任务和CPU之间的区别
浏览 166提问于2021-04-30得票数 0
我在slurm中使用sbatch运行了许多作业，如下所示：#SBATCH --job-name=Python#SBATCH --mem=4000#SBATCH --mail-type=ALL
浏览 1提问于2016-10-22得票数 3
1回答
更新:我能够从SLURM_JOB_ID获得这一行的变量赋值。然而，JOBID=echo ${SLURM\_JOB\_ID}还没有让SLURM_ARRAY_JOB_ID将自己分配给JOBID。为什么JOBID=${SLURM_JOB_ID}和JOBID=${SLURM_ARRAY_JOB_ID}行没有得到它们的任务分配？我试过用一本书和各种贬义词，但都没成功。代码当然可以更干净，这是多个人没有共同标准的结果。= Popen('ssh ${USER}@server
浏览 6提问于2022-11-04得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
