snakemake cluster命令中的括号问题
是指在使用snakemake工具时，cluster命令中的括号使用方式的问题。
在snakemake中，cluster命令用于将任务提交到计算集群中执行。括号在cluster命令中的使用方式有两种：
- 单个括号：在cluster命令中使用单个括号，表示将整个命令作为一个字符串传递给计算集群。这种方式适用于简单的命令，例如：
snakemake --cluster "sbatch {params.batch_script}"上述命令中，{params.batch_script}是一个占位符，表示在运行时会被实际的批处理脚本替换。
- 双括号：在cluster命令中使用双括号，表示将命令分成两部分，分别由两个括号包围。第一个括号中的命令用于生成作业提交脚本，第二个括号中的命令用于实际提交作业。这种方式适用于需要在作业提交之前进行一些预处理操作的情况，例如：
snakemake --cluster "({params.preprocess_command}) && sbatch {params.batch_script}"上述命令中，{params.preprocess_command}是一个占位符，表示在运行时会被实际的预处理命令替换。
总结：
- 在snakemake cluster命令中，单个括号表示将整个命令作为一个字符串传递给计算集群。
- 双括号表示将命令分成两部分，第一个括号中的命令用于生成作业提交脚本，第二个括号中的命令用于实际提交作业。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：https://cloud.tencent.com/product/tke
- 腾讯云弹性MapReduce（Tencent Elastic MapReduce，TEM）：https://cloud.tencent.com/product/tem
- 腾讯云批量计算（Tencent BatchCompute，TBC）：https://cloud.tencent.com/product/bc
相关·内容
我在aws cfncluster上使用snakemake 4.0.0和以下命令。RuleException：
问题是"sh“命令不支持"(”的"bashism“，有没有办法强制snakemake使用/bin/bash？谢谢
浏览 0提问于2017-08-19得票数 0
从中，我知道我可以定义一个概要文件并通过我可以将其中一个配置文件设为默认配置文件(在输入命令snakemake时使用)吗？在.bashrc中定义别名是一种变通方法。然而，我想知道是否有一个“官方”的snakemake解决方案。Sideremark:我创建snakemake默认配置文件的最初动机是定义默认核心数，这样我就不必总是键入
snakemake -j [core
浏览 1提问于2021-05-14得票数 1
使用snakemake时，我不确定在哪里添加--wait sbatch选项。我尝试将其添加到snakemake命令本身，但得到以下错误： Error submitting jobscript (exit code 1):
Submitted batch job 5389577我的snakemake命令如下： snakemake --latency-wait 60 --rerun-incomplete --keep-going --jobs 99 --cluste
浏览 52提问于2020-01-08得票数 1
1回答
我正在努力在我们大学的HPC上实现一个snakemake管道。我在一个激活的conda环境中这样做，并使用sbatch提交了以下脚本： --configfile文件中的参数(例如)：在我的</em
浏览 13提问于2021-10-30得票数 1
2回答
我需要在集群中运行snakemake规则，因此对于某些规则，我需要一些工具和库来加载，而这些工具与其他规则是独立/独占的。在这种情况下，如何在我的snakemake规则中指定这些。例如，对于rule score，我目前需要module load r/3.5.1和export R_lib =/user/tools/software，在运行snakemake之前，我在命令行中分别运行这些行但是，如果有一种方法可以在规则<em
浏览 0提问于2019-05-27得票数 1
回答已采纳
不幸的是，1/1000个作业会导致NODE_FAILED (ExitCode 0)崩溃，而snakemake无法识别，从而导致一半的输出文件完成。为了让snakemake知道这一事件，我发现--cluster-status和一个使用sacct解析jobid的脚本应该能做到这一点。REVOKED":'failed', "&q
浏览 1提问于2018-12-23得票数 3
回答已采纳
我正在尝试将给定规则的集群内存分配基于输入文件的文件大小。在snakemake中这是可能的吗?如果是的话，是如何实现的？wildcards, input, attempt: int(os.path.getsize(str(input))/(1024*1024))但似乎snakemake试图在文件创建之前预先计算这个值，因为我得到了这个错误：
InputFunctionExcept
浏览 5提问于2018-06-17得票数 3
我试图使用Snakemake来处理高性能HPC上RNASeq管道的运行，使用SLURM来调度作业。我读到Snakemake本机支持使用snakemake --cluster在集群上使用SBATCH调度作业，但是这会创建一个CATC-22：
如果从登录节点运行snakemake --cluster，则它生成的Snakemake进程将继续在登录节点上运行，直到管道停止运行为止，这会降低登录节点的性能并违反HPC集群<em
浏览 12提问于2022-08-05得票数 1
，命令如下： snakemake -s Snakefile --verbose --cores=1 out{1,2,3,4,5}.txt 如果我在不指定输出文件名的情况下运行它，我会得到错误: WorkflowError请指定具体文件或不带通配符的规则。 但我猜这是意料之中的。 接下来，我想运行相同的程序，但将文件放在GCP/GCS存储桶中。我用gsutil rsync把文件放在那里，我甚至可以从一个snakefile中列出它们，如果我在<e
浏览 27提问于2020-06-13得票数 0
(我在>1cpu的交互式slurm作业中运行snakemake；我使用的是由集群系统管理员作为module提供的Miniconda )
当任务被迫串行运行(snakemake --use-conda只有当-j2或更高(不超过slurm分配中可用的核数)时，才会出现此问题。第一份工作似乎运行得很好，总是第二项工作令人发牢骚。如果我运行snakemake --use-conda -j2，所得到的</em
浏览 4提问于2021-03-06得票数 2
回答已采纳
2回答
要实际调用程序的命令，我必须使用以下命令：-b y既允许二进制，也可以作为脚本此外，"qsub“中的内容被视为snakemake命令。所以脚本本身可以工作，但是我认为从头节点推到集群中的方式是行不通的。我也可能完全偏离目标！
浏览 11提问于2017-05-16得票数 1
回答已采纳
相关：Bwa.yaml文件是： - bioconda - bwa=0.7.17snakemake-d "/home/<username>" --use-conda --cluster "qsub -cwd -q testing-nod08
浏览 11提问于2018-09-10得票数 1
我知道有一种方法可以使用声明需要在本地机器上执行的规则，如下所示：是否有类似的选项来声明需要在集群上执行的规则？也许是clusterrules选项？我的管道中有一堆不需要在集群上执行的规则，虽然我可以用localrules列出所有规则，但只输入需要在集群上执行的一到两个规则会更容易。另一种选择是使用，它将在单个节点上执行组中的所有规则，而不是使用集群中的多个节点。
浏览 9提问于2020-05-23得票数 0
回答已采纳
我尝试使用依赖项字符串的就地修改来使其适应PBSPro，类似于所做的操作。snakemake --cluster "qsub -l wd -l mem={cluster.mem}GB -l ncpus={threads} -e {cluster.stderr} -q {cluster.queue/tmp.cyrhf51c/snakejob.trimmomatic_pe.7.sh
如何使依赖项字符串输出
浏览 1提问于2018-03-26得票数 0
1回答
对于一个相当简单的规则，我得到了一个错误。我必须为另一个程序写一个任务文件，期望是一个tsv文件。我从配置文件中读取了一定数量的参数，并使用shell命令将它们写到一个文件中。Using shell: /usr/bin/bashJob counts: 1/miniconda/envs/snakemake</em
浏览 17提问于2020-10-12得票数 2
我正在从同一个工作目录运行snakemake管道，但是配置文件不同，输入/输出也在不同的目录中。问题似乎是，尽管两次运行都在使用不同文件夹中的数据，snakemake由于.snakemake文件夹和内部的锁文件夹而创建管道文件夹上的锁。有办法强制使用单独的.snakemake文件夹吗？代码示例如下：
这两个运行都是在/home/管道/qc_管
浏览 3提问于2020-01-08得票数 2
回答已采纳
这很好，大概是因为snakemake不需要创建新的文件夹来存储来自作业的错误和输出，我这样运行：
snakemake output/reads/trimmed/reads.fq --cluster-config如果我将这些文件夹放在我的slurm.json文件中，作业就会失败。此结构...{rule}{wildcards}...适用于其他不需要创建新文件夹的规则(因为通配符不包含文件夹路径)。我怎样才能解决这个问题
浏览 6提问于2019-04-22得票数 2
回答已采纳
我正在使用slurm的HPC上运行一个snakemake管道。管道相当长，由大约22个步骤组成。在尝试提交作业时，snakemake会定期统计一个问题。调用通过sbatch文件运行管道
snakemake -j 999 -p --cluster-config cluster.json --cluster 'sbatch --account {cluster.accountsbatch作业的输出，还会产生<e
浏览 749提问于2019-10-24得票数 5
回答已采纳
也许答案对很多人来说是显而易见的，但我很惊讶我找不到一个关于这个问题的问题，这对我来说是个大问题。我会非常感谢您的提示！当在slurm管理的集群上提交作业时，如果队列管理器取消作业(例如，由于资源或时间不足)，snakemake似乎没有接收到任何信号，并且永远挂起。另一方面，当工作失败时，snakemake也会像预期的那样失败。这种行为正常/通缉吗？当一份工作被取消时，我怎么可能也会失败呢？我在sn
浏览 3提问于2018-09-25得票数 9
我有一个奇怪的问题，来来往往，我真的不知道什么时候和为什么。我在运行这样一条蛇形管道：snakemake -s $snakefile --configfile test.conf.yml --cluster"python $qsub_script" --latency-wait 60 --use-conda -p -j 10 --jobscript "$job_script"
我在conda环境中安装了s
浏览 3提问于2019-12-26得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
