处理SLURM中的文件列表
SLURM（Simple Linux Utility for Resource Management）是一个开源的集群管理和作业调度系统，用于管理大规模计算集群中的作业和资源分配。在SLURM中处理文件列表通常涉及到作业提交和作业执行过程中的文件传输和管理。
在SLURM中处理文件列表的一般步骤如下：
- 作业提交阶段：
- 在作业提交脚本中，可以通过指定输入文件和输出文件的路径来处理文件列表。可以使用绝对路径或相对路径来指定文件的位置。
- SLURM提供了一些环境变量，如$SLURM_SUBMIT_DIR，可以用于获取作业提交脚本所在的目录，从而方便地引用文件列表。
- 作业执行阶段：
- 在作业执行脚本中，可以使用各种编程语言（如Python、Bash等）来处理文件列表。
- 可以使用文件操作函数或命令来读取、写入、复制、移动、删除文件等操作。
- 可以使用循环结构（如for循环）来遍历文件列表，对每个文件进行相应的处理操作。
处理文件列表的应用场景包括但不限于：
- 数据分析：对大规模数据集进行处理和分析时，需要处理文件列表来读取和写入数据。
- 批量作业处理：对一组文件进行相同的操作，如图像处理、文本处理等。
- 文件传输和同步：将文件从一个节点传输到另一个节点，或者将文件同步到多个节点。
腾讯云提供了一系列与云计算和集群管理相关的产品，可以用于处理SLURM中的文件列表，包括：
- 腾讯云弹性MapReduce（EMR）：提供了大数据处理和分析的云服务，支持Hadoop、Spark等框架，可以处理大规模文件列表。
- 腾讯云对象存储（COS）：提供了高可靠、低成本的对象存储服务，可用于存储和管理文件列表。
- 腾讯云批量计算（BatchCompute）：提供了高性能、高可靠的批量计算服务，可用于处理大规模作业和文件列表。
更多关于腾讯云相关产品的介绍和详细信息，请参考以下链接：
- 腾讯云弹性MapReduce（EMR）：https://cloud.tencent.com/product/emr
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云批量计算（BatchCompute）：https://cloud.tencent.com/product/bc
相关·内容
1回答
将参数传递到slurm脚本
、、、、
我使用slurm脚本在集群上运行用于Matlab计算的数组。每个脚本都使用一个数组来循环matlab参数。
1)是否有可能创建一个shell脚本来循环另一个变量？
2)可以将变量传递给slurm脚本吗？
例如，我的slurm文件当前看起来像
#!/bin/bash
#SBATCH --array=1-128
...
matlab -nodesktop r "frame=[${SLURM_ARRAY_TASK_ID}]; filename=['Person24']; myfunction(frame, filename);";
我经常需要运行这个数组来处理许多不同
浏览 0提问于2019-06-18得票数 2
回答已采纳
3回答
我用脚本启动SLURM作业，脚本必须工作，这取决于它的位置，它是在脚本内部使用SCRIPT_LOCATION=$(realpath $0)获得的。但是SLURM将脚本复制到slurmd文件夹，并从那里开始作业，这会导致进一步的操作混乱。
是否有任何选项可以在slurm作业被移动/复制之前获得用于slurm作业的脚本的位置？
脚本位于网络共享文件夹/storage/software_folder/software_name/scripts/this_script.sh中，它必须：
找到自己的位置
返回software_name文件夹
将software_name文件夹复制到节点上的本
浏览 0提问于2019-07-10得票数 13
回答已采纳
我是第一次接触SLURM。我想并行处理一长串文件。具体地说，我有一个脚本来处理像这样的
./process.sh filename
现在我想处理文件列表中的许多文件，如下所示
file1
file2
file3
...
file10000
如何使用SLURM并行处理文件列表(即使用16个CPU)？
浏览 0提问于2016-07-10得票数 1
回答已采纳
slurm-wlm 17.11.2
从Ubuntu Apt repos安装，Ubuntu:18.04
我们有一个由20个相同节点组成的集群。运行下面的简单脚本会给我带来一个令人困惑的问题。所有作业都认为它们在node3上运行，而运行hostname命令则给出了准确的答案。这也是输出文件名的一个问题。我希望有许多不同的输出，但我只得到一个，与'node3‘在文件名。这似乎是一个Bash ()/变量替换错误。包皮
SLURMD_NODENAME
在一个
bash -c "echo Bash3: \$SLURMD_NODENAME"
很管用。但我为什么要这么做
浏览 0提问于2018-07-13得票数 0
1回答
如果在slurm集群上运行数组作业，如何重新启动失败的工人作业？
在Sun引擎队列中，可以将#$ -r y添加到作业文件中，以指示如果作业失败，应该重新启动作业--此标志的Slurm等效于什么？
浏览 2提问于2018-06-02得票数 1
回答已采纳
1回答
我们有一个4*64内核的小型HPC，它安装了SLURM。
这些节点是：
sinfo -N -l
Mon Oct 3 08:58:12 2016
NODELIST NODES PARTITION STATE CPUS S:C:T MEMORY TMP_DISK WEIGHT FEATURES REASON
dlab-node1 1 dlab* idle 64 2:16:2 257847 0 1 (null) none
dlab-node2
浏览 7提问于2016-10-03得票数 1
回答已采纳
我希望将以下变量打印到Slurm生成的标准输出文件slurm-XXXXX.out中。现在，我正在为每个作业生成一个单独的.info文件。
echo "SLURM Job ID : ${SLURM_JOB_ID}" >> $SLURM_SUBMIT_DIR/$jobName.$JOBID.info
echo "SLURM Job name : ${SLURM_JOB_NAME}" >> $SLURM_SUBMIT_DIR/$jobName.$JOBID.info
echo "SLURM Node list
浏览 0提问于2021-01-27得票数 0
回答已采纳
我有一个(本土的)集群网络基准测试，我正在尝试使用SLURM调度程序来运行它。基准测试使用一个标准的客户机/服务器体系结构，它在启动时要求客户机可执行文件的服务器IP地址(或主机名)参数。
通常，我会编写一个服务器脚本，它将grep主nic的地址，并在共享文件系统上删除信息，但是AFAIK不会在集群节点上工作。我还了解到，有一个SLURM_JOB_NODELIST env变量允许脚本从我的S批处理脚本中查看集群中所有节点的列表，但我不认为这在本例中是有用的。
如何确定调度程序选择了哪个节点来运行基准服务器，并在启动之前/启动时将该信息传递给客户端任务？
浏览 1提问于2018-03-31得票数 2
2回答
我有一个有四个节点A、B、C和D以及Slurm版本17.11.7的计算集群。我在与Slurm数组作业做斗争。我有以下bash脚本：
#!/bin/bash -l
#SBATCH --job-name testjob
#SBATCH --output output_%A_%a.txt
#SBATCH --error error_%A_%a.txt
#SBATCH --nodes=1
#SBATCH --time=10:00
#SBATCH --mem-per-cpu=50000
FOLDER=/home/user/slurm_array_jobs/
mkdir -p $FOLDER
cd ${
浏览 0提问于2018-06-18得票数 1
回答已采纳
2回答
我是.sh脚本的初学者，所以请原谅我的无知。这是我的问题：
要将我的作业提交到我们的集群中，相应的提交文件必须包含一个"slurm头“，并且看起来如下所示。
#!/bin/sh
#
########## Begin Slurm header ##########
#
#SBATCH --job-name=blabla
#
########### End Slurm header ##########
# Load module
module load math/matlab/R2020a
# Start a Matlab program
matlab -nodesktop -r
浏览 0提问于2021-09-17得票数 3
回答已采纳
2回答
我可以使用作业调度程序(Slurm)访问分布式计算/服务器场，它为每个并行作业提供一个从1到n的整数ID (我知道n的值，在下面的示例n = 10中)。
我使用find -maxdepth 1 -name '2019 - *'查找我想作为参数传递给我的程序的文件名列表。
示例文件名：
2019 - Alphabet
2019 - Foo Bar
2019 - Reddit
2019 - StackExchange
命令不重要。所有匹配的文件只能使用一次。
这是一个我可以使用的“模板”脚本的示例：
#!/bin/bash
# in this case, from i = 1 t
浏览 0提问于2020-07-23得票数 1
我想知道如何在bash中用ls列出只会列出特定文件子集的文件？
例如，我有一个包含10000个文件的文件夹，其中一些文件名为：temp_cc1_covmat和temp_cc1_slurm，但1的值范围为1-1000。
那么，我如何列出只说，temp_cc400_slurm-temp_cc_499_slurm？
我想这样做，因为我想要排队的超级计算机上的文件，只有slurm结束。我可以做sbatch *_slurm，但是文件夹中还有很多以_slurm结尾的文件。
浏览 8提问于2017-07-19得票数 4
回答已采纳
1回答
我有三个剧本：
config.yaml、script.py和slurm.sh
我使用Slurm中的slurm.sh文件将作业提交给作业调度程序，该文件调用script.py文件，script.py文件从config.yaml文件加载配置。
看起来是这样的：
sbatch slurm.sh
现在，我更改config.yaml并提交另一份工作。但是，如果两个作业都在队列中，则config.yaml文件将被覆盖，两个作业将使用相同的配置。
有没有办法告诉slurm调度程序也缓存config.yaml文件？我知道这不适用于slurm.sh文件。
浏览 2提问于2018-07-04得票数 0
回答已采纳
1回答
我想知道关于2.X.X和13-15.X的Slurm版本之间有什么区别。
关于版本控制，我能找到的最详细的列表是在这里：
似乎与Slurm 2.6.1一起出现了另一个名为13.12.0-pre1的版本。
然而，没有任何解释，这两个版本之间有何不同。
虽然版本13.X仍在开发中(目前为15.X)，但对于Slurm 2.6.7，它似乎已经停止了。
这两个不同的版本彼此兼容吗？是否可以从2.X升级到15.X？这些版本完全不同吗？如果是的话，他们有什么不同？
浏览 2提问于2015-08-05得票数 0
回答已采纳
1回答
我是一个想安装/管理slurm的新手。我想限制铲子工作所能做的数量。我使用应激命令查看slurm对CPU的利用率。
当我运行这个批处理脚本时
#SBATCH -p Test -c 1
stress -c 1
这项工作运行良好，一个核心百分之百使用。但是这个剧本
#SBATCH -p Test -c 1
stress -c 20
也会运行，但是顶部的命令给出了20个cpu的列表，每个of的cpu利用率为5%。这是合理的，因为总利用率是1 CPU核心100 %。这使得我在googling中学到的平均负载变得疯狂，这并不是系统负载的正确视图。我有两个问题
在slurm中，是否可以通过终止第二次运
浏览 0提问于2019-02-07得票数 0
2回答
我想在集群中使用Keras，使用Slurm作为作业引擎。
如果我打开一个终端并运行以下命令，一切都正常：
$python
>>> import tensorflow
>>> import keras
但是，如果我将import tensorflow和import keras放在Python文件中，然后从slurm调用：
srun [bunch of parameters for my cluster] python mypythonfile.py
然后我得到以下错误：ImportError: No module named keras。
在使用Slurm的集
浏览 7提问于2017-09-07得票数 1
回答已采纳
我想用变量的值替换文件中的字符串。I模板文件prm.prm中的字符串lvl，需要替换为SLURM_ARRAY的值。
我试着用
sed -i 's/lvl/${SLURM_ARRAY}/' prm.prm
这会将字符串lvl替换为${SLURM_ARRAY}，而不是其值。我怎样才能纠正这个问题呢？
浏览 5提问于2021-11-26得票数 0
我想使用Slurm中的一个数组作业来运行一个Rscript.R，其中包含1-10个任务，由此来自该作业的任务id将被定向到Rscript，以编写一个名为"'task id'.out“的文件，其中包含'task id‘。然而，事实证明，这比我预期的更具挑战性哈哈，我正在尝试以下几点： ~/bash_test.sh如下所示： #!/bin/bash -l
#SBATCH --time=00:01:00
#SBATCH --array=1-10
conda activate R
cd ~/test
R CMD BATCH --no-save --no-restor
浏览 57提问于2021-02-12得票数 0
回答已采纳
1回答
这是我的ansible库存文件：
[slurm_master]
slurm-gpu-0 ansible_host=192.168.0.24 ansible_connection=local
[slurm_compute]
slurm-gpu-1 ansible_host=192.168.0.200 cpus=16 gpus=2
slurm-gpu-2 ansible_host=192.168.0.124 cpus=1 gpus=0
[slurm_partition_gpu]
浏览 4提问于2020-05-15得票数 1
1回答
我刚接触SLURM。我想并行处理一个文件列表assembled_reads/*.sorted.bam。然而，在下面的代码中，只有一个进程被反复使用。
#!/bin/bash
#
#SBATCH --job-name=****
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=24
#SBATCH --partition=short
#SBATCH --time=12:00:00
#SBATCH --array=1-100
#SBATCH --mem-per-cpu=16000
#SBATCH --mail-type=FAIL
#SBATCH --mail-u
浏览 8提问于2017-08-09得票数 4
回答已采纳
我在linux上使用slurm并行运行作业，方法是请求一个节点，每个cpu运行一个任务。
但是，指定的输出将两个流连接到单独的out文件中。我尝试了在替换时使用%t标志，它将分离任务，但它只是记录输出文件中的所有内容，并附加了_0 (例如，sample_output__XXX_XX_0.out)。
任何关于如何最好地为每个任务生成单独的.out日志的建议都将不胜感激。
#!/bin/bash
#SBATCH --job-name=recon_all_06172021_1829
#SBATCH --output=/path/recon_all_06172021_1829_%A_%a_%t.ou
浏览 2提问于2021-06-17得票数 0
回答已采纳
我正在使用AWS ParallelCluster ()学习教程，一旦启动并运行了CloudFormation，我就无法通过Rest连接到集群。我使用Slurm21.08.8和ParallelCluster 3.1.4。我能够将SSH放入头节点并启动作业，但当我试图通过SageMaker笔记本访问节点时，连接被拒绝。下面是我为ParallelCluster配置的YAML。请注意，这使用的是Graviton2 ARM处理器：
Region: ${REGION}
Image:
Os: alinux2
SharedStorage:
- Name: myebs
StorageType:
浏览 23提问于2022-06-01得票数 0
回答已采纳
1回答
我目前正在我的项目中使用slurm，并试图运行一个非常简单的hello world作业。我希望将我的stdout和错误重定向到特定位置的特定文件。因此，我使用了以下命令：sudo su -c 'sbatch /home/slurm/job.script --error=/home/slurm/job%j.out --output=/home/slurm/job%j.out' slurm。但我完全被忽视了。他只是尝试(并且失败了，因为他没有权限)来创建一个发出命令的文件。我用的是Debian 10流浪者盒子。我的slurm版本是slurm-wlm 18.08.5-2 (来自sin
浏览 2提问于2021-10-29得票数 1
回答已采纳
我想为我运行的每个Slurm作业创建一个唯一的目录。然而，mkdir似乎中断了SBATCH命令。当我试着：
#!/bin/bash
#SBATCH blah blah other Slurm commands
mkdir /path/to/my_dir_$SLURM_JOB_ID
#SBATCH --chdir=/path/to/my_dir_$SLURM_JOB_ID
touch test.txt
...the Slurm执行忠实地在/path/to/my_dir_$SLURM_JOB_ID创建目录，但跳过--chdir命令，并从调用批处理的工作目录执行--chdir脚本。
是否有方法为
浏览 1提问于2020-12-10得票数 2
回答已采纳
我面临以下问题：
我的模块需要在Slurm管理的集群上管理多个作业。整个批处理都是使用--multiprog开始的。
其中一个使用rabbitMQ连接，遗憾的是不能优雅地完成(这不是我的决定)。因此，每当slurm关闭整个批处理时，此子作业都会留下一个“僵尸”作业。更糟糕的是，它会发送一个保持rabbitMQ连接活动的心跳，等等。
从本质上讲，我需要在每一份工作之后进行一次僵尸猎杀。我尝试用一个简单的epilog (killall -9 -f )来做这件事，但是显然epilog没有得到完整的节点列表，所以不能将“变成不死的”应用到这个作业使用的所有节点上。
我似乎也没有从批处理文件中的环境变量
浏览 17提问于2017-01-25得票数 0
我希望在多个节点上均匀地分配我的作业，并在我的sbatch文件中指定了-- distribution =循环，但是slurm忽略了这一点，而是使用了块分发。
在此之前，任务在节点间均匀分布。通过读取文档，这就是我所期望的默认行为，除非在slurm.conf中另有规定。
从今天开始，这些任务在第一个节点上进行聚类，每个节点上只有一个任务。我显然已经更改了配置中的一些内容，但不知道在哪里修复它。我确实更改了计算节点的映像，并在今天重新启动了它们。
当我试图停止head节点上的slurmctld时，它将由我的Bright群集管理器监视器立即重新启动。不确定这是否阻止了配置更新。
我已经研究过slur
浏览 0提问于2019-06-28得票数 1
回答已采纳
Ubuntu与Mac上的Linux不同吗？抱歉，如果这是个基本问题.我是新手。我正在尝试运行一个bash脚本，它用一些FASTQ文件创建一个.sh脚本。这可以在Mac操作系统上的终端上使用。我试图在我的Windows笔记本上运行它，它忽略了我对#s的逃避，只说找不到几个命令。我试过使用dos2unix，并与cat -A file.sh进行了反复检查，但这并没有帮助。
我试图运行的代码将所有fastq文件保存在一个文件夹中，并使用它们的文件名为SLURM作业提交创建一个.sh文件(我的学校的计算机集群需要它们，我需要制作100+作业脚本)。因此，Mac版本如下：
for FILE in *fas
浏览 0提问于2021-06-16得票数 1
回答已采纳
假设我要运行6233个模拟。这些命令被生成并存储在一个文件中，每一行一个。我想使用Slurm来调度和运行这些命令。然而，MaxArraySize的限制是2000年。因此，我不能使用一个作业数组来调度所有这些任务。
给出了一种解决方案，在中，我们创建四个单独的作业，并在文件中使用算术索引，最后一个作业有较少的任务要运行(233)。
是否可以使用一个带有一个作业ID的S批处理脚本来完成这个任务？
我在使用作业数组时设置了ntasks=1。在这种情况下，更大的任务有帮助吗？
Update：按照Damien的解决方案和给出的示例，我在bash脚本中得到了以下行：
curID=$(( $
浏览 9提问于2022-05-10得票数 1
回答已采纳
1回答
我希望同时从多个目录中执行SLURM脚本。更具体地说，我有十个数组文件夹，它们通过array_1通过array_10编号，我想从其中执行脚本。在每个目录中，脚本创建了10个子目录，标记为${SLURM_ARRAY_TASK_ID}_ztag。但是，我必须从十个array_目录中的每个目录中手动执行SLURM脚本。当我不得不一遍又一遍地做这件事时，这就变得很麻烦了。
通常，使用shell脚本，这将是一个简单的for循环，但是由于#SBATCH不是由bash解释的，所以我没有取得任何成功。当前脚本(在每个数组文件夹中单独运行)是：
#!/bin/bash
#SBATCH -o <some_t
浏览 5提问于2020-06-01得票数 0
回答已采纳
我观察到，当我运行SLURM作业时，它可以在其他文件夹路径上创建文件，也可以删除它们。通过SLURM作业，他们可以访问其他文件夹/文件并对其进行更改，这似乎很危险。
$ sbatch run.sh
run.sh：
#!/bin/bash
#SBATCH -o slurm.out # STDOUT
#SBATCH -e slurm.err # STDERR
echo hello > ~/completed.txt
rm ~/completed.txt
是否有可能强迫SLURM只访问它自己的运行文件夹，而不能访问其他文件夹？
浏览 5提问于2017-06-14得票数 3
回答已采纳
1回答
批处理数组的索引顺序不佳
、、、
我有4份文件：
text1005.txt
text1007.txt
text1009.txt
text1012.txt
我创建了一个清单：
FILES=$(find -type f -name "*txt")
arr=${FILES}
但是当我想打印索引时，它并没有给出好的文件。例如,
echo ${arr[1]}
./text1009.txt
它应该给我列表中的第一个文件，即text1005.txt。这将是个问题，因为稍后我将使用$SLURM_ARRAY_TASK_ID变量，因此需要索引与好的文件匹配。
有什么建议吗？
浏览 5提问于2020-07-06得票数 0
回答已采纳
我通过GitHub使用Terraform发布了slurm-gcp，并成功地使用了它。来源： Slurm on Google Cloud Platform 但我想将使用node时使用的图像更改为自定义图像。 我正在尝试编辑/slurm/scripts/config.yaml。 在该文件的内容中： image: projects/schedmd-slurm-public/global/images/family/schedmd-slurm-20-11-7-hpc-centos-7 我想编辑这个零件。 如何将此部分重新路由到我的自定义图像？
浏览 13提问于2021-09-13得票数 1
回答已采纳
我试图使用库删除以slurm这个词开头的所有文件。在命令行中，我会这样做：
rm slurm*
这样的命令将在shell中工作。
但当我这么做的时候
sh.rm("./slurm*")
其他变体(比如"slurm*“或首先使用sh.Command构建命令等)也会给出相同的错误：
RAN: '/bin/rm slurm*'
STDOUT:
STDERR:
/bin/rm: cannot remove `slurm*': No such file or directory
是库中的错误，还是我找不到正确的文档来知道如何使用sh正确执
浏览 9提问于2016-01-31得票数 2
回答已采纳
1回答
我最近开始了一项新工作，需要通过Slurm在HPC上运行一些脚本。
我的脚本是用Python编写的，因此我希望在.slurm文件中使用.slurm来执行这些脚本。
但是，当我尝试运行.slurm文件时，它似乎无法调用python脚本。我尝试过使用module load anaconda3加载python环境及其变体(例如，module load python等)。附件是我的array.slurm文件，以供参考。我已经让帐户和邮件用户空的上传到这里进行匿名，但我有这些在我运行脚本。
Slurm输出的错误文件指示如下：
/var/spool/slurmd/job220829/slurm_scrip
浏览 3提问于2022-02-26得票数 1
1回答
最近，我使用的指南创建了一个Snakemake。我成功地安装了配置文件，并且它在直接调用路径时确实工作。但是，当使用配置文件名称时，如
snakemake --profile slurm --dry-run
我知道错误：
Error: profile given but no config.yaml found. Profile has to be given as
either absolute path, relative path or name of a directory available in either
/etc/xdg/snakemake or /home/GROUP/
浏览 0提问于2021-09-21得票数 2
回答已采纳
我使用slurm，我想让我的守护进程slurmd在系统中等待nfs挂载。
这是我的slurmd.service：
[Unit]
Description=Slurm node daemon
After=network.target nfs-client.target nfs-client.service
ConditionPathExists=/etc/slurm/slurm.conf
[Service]
Type=forking
EnvironmentFile=-/etc/sysconfig/slurmd
ExecStart=/usr/sbin/slurmd $SLURMD_OPTIONS
浏览 67提问于2018-01-29得票数 1
2回答
我有一个python脚本，它应该为要调用的外部程序生成大量输入。对外部程序的调用将通过slurm进行。
我想让我的脚本等待所有生成的对外部程序的调用完成(不是slurm命令，外部程序的实际执行)，然后解析外部程序生成的输出，对数据做一些处理。
我尝试了子进程调用，但它只等待slurm slurm命令。有什么建议吗？
浏览 0提问于2018-08-14得票数 10
回答已采纳
我正在运行大约400个文件通过SLURM管道与批处理。当我用sbatch ./myscript.sh file_x对一个任务排队时，所有的文件都会排队到同一个节点。
我在S批处理脚本的开头尝试了一个#SBATCH参数的变体，但没有成功。到目前为止，我尝试过的是：
#!/bin/bash
#SBATCH -N 1
#SBATCH -n 60
#SBATCH -o slurm_out/output_%j.txt
#SBATCH -e slurm_error/error_%j.txt
和
#!/bin/bash
#SBATCH -n 60
#SBATCH -o slurm_out/output_%j
浏览 0提问于2019-07-10得票数 2
回答已采纳
我经常在不同的目录下运行许多SLURM作业。因此，查询作业的workdir非常有用。我可以对队列中的作业(例如，挂起、运行等)执行此操作。如下所示： squeue -u $USER -o "%i %Z" 我可以对已完成的作业执行此操作(例如，已完成、超时、已取消等)如下所示： sacct -u $USER -o JobID,WorkDir 问题是，有时我有一个目录，里面有两个(或更多) SLURM批处理脚本，例如submit.sh和restart.sh。因此，查询作业的“命令”也很有用，即批处理脚本的文件名。对于队列中的作业，我可以这样做： squeue -u $USER -
浏览 130提问于2019-12-18得票数 2
回答已采纳
我见过类似的问题，但与我的不完全相同：Use Bash variable within SLURM sbatch script，因为我不是在讨论slurm参数。 我想为我的每个示例文件启动一个slurm作业，所以假设我有3个vcfs，我想为每个vcfs运行一个作业： 我创建了一个脚本来遍历一个文件，在这个文件中我编写了sampleIds，以便对每个示例运行另一个脚本，如果我想直接用bash运行它，这将是完美的： while read line
do
sampleID="${line[0]}"
myscript.sh $sampleID 问题是我需要使用slurm运行脚本，
浏览 19提问于2020-04-29得票数 1
回答已采纳
我正在管理一个PBS/torque HPC集群，现在我正在使用斯隆设置另一个集群。在PBS集群中，我可以设置一个队列，使其只接受qmgr -c "set queue interactive_q disallowed_types = batch"的交互式作业，而只接受qmgr -c "set queue cu disallowed_types = interactive"的批处理作业。
但是，在浏览正式的SLURM文档后，我无法找到与SLURM相对应的设置。
如何将SLURM集群上的分区设置为只接受交互式或批处理作业？
浏览 0提问于2022-01-21得票数 2
回答已采纳
1回答
我有一个Snakefile，它有一个发送7个不同shell命令的规则。我希望在sbatch中运行这些外壳命令中的每一个，并且希望它们在不同的slurm节点中运行。现在，当我在Snakemake规则的外壳命令中包含sbatch时，我没有得到所需的输出文件，因为它需要一段时间才能运行，并且当sbatch返回时，命令仍在运行。我认为Snakemake认为我没有所需的输出文件，因为它认为命令在提交的作业完成之前“完成了执行”。 如何使用Snakemake文件中的sbatch命令在一个slurm节点中提交每个规则
浏览 31提问于2021-01-24得票数 1
回答已采纳
1回答
假设我在一个txt文件(var.txt)中有以下变量列表： AAA
ABC
BBB
CCC 下面的R脚本(script.R)，其中x是var.txt中的一个变量： print(x) 和以下HPC slurm作业脚本(job.sh)： #!/bin/bash
#SBATCH --job-name test
#SBATCH --ntasks 8
#SBATCH --time 04:00
#SBATCH --output out
#SBATCH --error err
Rscript script.R 如何按顺序运行job.sh脚本4次，每次都在script.R中使用不同的变量？ 预期输出:使用
浏览 18提问于2021-11-16得票数 1
回答已采纳
1回答
我在集群上使用slurm来运行作业并提交一个脚本，如下所示
#!/usr/bin/env bash
#SBATCH -o slurm.sh.out
#SBATCH -p defq
#SBATCH --mail-type=ALL
#SBATCH --mail-user=my.email@something.com
echo "hello"
我是否可以注释掉一个#SBATCH行，例如这个脚本中的#SBATCH --mail-user=my.email@something.com？由于slurm指令本身就是bash注释，所以我不知道如何实现这一点。
浏览 1提问于2016-10-31得票数 27
回答已采纳
我曾经使用SLURM调度程序处理集群，但现在我或多或少被迫切换到基于SGE的集群，并且我正试图掌握它。我在SLURM系统上的工作涉及到使用N个输入文件运行可执行文件，并以这种方式设置SLURM配置文件，
slurmConf.conf SLURM configuration file
0 /path/to/exec /path/to/input1
1 /path/to/exec /path/to/input2
2 /path/to/exec /path/to/input3
3 /path/to/exec /path/to/input4
4
浏览 5提问于2015-01-29得票数 1
我们正试图在我们的uni实验室中使用slurm，但是我们不能完全理解slurmUser的行为。
例如:如果我在以用户'acnazarejr‘(srun -n1 id -a)的身份登录时运行srun，那么我可能会看到类似下面这样的结果：uid=80000001637(acnazarejr) gid=80000000253(domain user) groups=80000000253(domain user),1001(slurm)
但我得到的是：uid=1001(slurm) gid=1001(slurm) groups=1001(slurm), 27(sudo), docker(99
浏览 18提问于2017-07-28得票数 0
我正在向SLURM队列提交多个作业。每个作业使用1个GPU。每个节点有4个GPU。然而，一旦作业开始运行，它就会占用整个节点，留下3个空闲的GPU。有没有办法避免这种情况，这样我就可以向一个节点发送多个作业，每个节点使用一个GPU？
我的脚本如下所示：
#SLURM --gres=gpu:1
#SLURM --ntasks-per-node 1
#SLURM -p ghp-queue
myprog.exe
浏览 2提问于2018-03-21得票数 3
尝试在Ubuntu 18.04上启动slurm后，出现以下错误信息 slurmctld.service: Can't open PID file /var/run/slurm-llnl/slurmctld.pid (yet?) after start: No such file or directory 下面是slurmllnl目录的所有权： drwxr-xr-x 2 slurm slurm 60 juin 22 11:06 slurm-llnl 在这个目录中，我有slurmd.pid，但没有slurmctld.pid 这是我的slurm.conf文件： # slurm.co
浏览 666提问于2021-06-22得票数 0
1回答
我有一个运行在HPC上的python脚本，它接收文本文件中的文件列表，并启动多个SBATCH运行：
./launch_job.sh 0_folder_file_list.txt
launch_job.sh通过0_folder_file_list.txt并为每个文件启动一个SBATCH
SAMPLE_LIST=`cut -d "." -f 1 $1`
for SAMPLE in $SAMPLE_LIST
do
echo "Getting accessions from $SAMPLE"
sbatch get_acc.slurm $SAMPLE
#./
浏览 7提问于2022-02-28得票数 0
回答已采纳
我正在通过SLURM调度程序向集群提交作业，假设我可以访问集群中的5种类型的GPU。它们是A、B、C、D、E类型的GPU。我想提交一个作业，请求使用A或B或C类型的GPU，而不是D或E类型的GPU。因此，我需要一些带有--gres标志的or逻辑。 作为一个具体的示例，下面是当我请求一个单一类型的图形处理器(在本例中是RTX2080)时的样子：qlogin -p gpu --gres=gpu:rtx2080:1 --mem=8g -c 2我想这样做，但允许SLURM从允许的图形处理器类型列表中进行选择
浏览 39提问于2021-04-05得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
