如果指定了--drmaa-log-dir，则snakemake作业将失败
如果在使用Snakemake时指定了--drmaa-log-dir参数，但该目录不存在或无法访问，则Snakemake作业将失败。
Snakemake是一个用于构建和运行数据分析工作流的工具。它使用Python编写，并提供了一种简洁的方式来描述工作流中的任务和它们之间的依赖关系。Snakemake可以自动化地管理任务的执行顺序，并根据输入和输出文件的状态来决定是否需要重新运行任务。
--drmaa-log-dir参数用于指定Snakemake作业的DRMAA日志目录。DRMAA（Distributed Resource Management Application API）是一种用于与集群调度系统交互的API。通过指定--drmaa-log-dir参数，Snakemake将会将作业的DRMAA日志输出到指定的目录中。
如果指定了--drmaa-log-dir参数，但该目录不存在或无法访问，Snakemake将无法将作业的DRMAA日志输出到指定的目录中，从而导致作业失败。因此，在使用--drmaa-log-dir参数时，需要确保指定的目录存在并且具有适当的访问权限。
腾讯云提供了一系列与云计算相关的产品，包括云服务器、云数据库、云存储等。这些产品可以帮助用户快速搭建和管理云计算环境，提供高性能和可靠的计算、存储和网络服务。如果您对腾讯云的产品感兴趣，可以访问腾讯云官方网站（https://cloud.tencent.com/）了解更多信息。
相关·内容
我使用的是snakemake v5.7.0。无论是在本地启动还是通过snakemake --drmaa提交到SLURM，管道都能正常运行:提交作业后，一切都按预期运行。使用--drmaa-log-dir选项调用的Snakemake将创建选项中指定的目录，但无法执行规则。不会生成日志文件。 下面是一个最小的例子。/.snakemake/log/2020-04-10T210349.984931.snakemake</e
浏览 28提问于2020-04-11得票数 4
--keep-going标志告诉snakemake在工作失败时继续从事独立的工作。但是，如果作业失败，则管道根本不会生成运行时统计文件。如何获得作业的运行时统计数据？
浏览 0提问于2018-03-01得票数 3
回答已采纳
我开发的snakemake工作流程遇到了一些问题。对于特定的规则，输出有时会被snakemake标识为不完整：The files below seem to be incomplete.Incomplete files:
此规则运行多次(使用不同的通配符值)，只有一些运行失败并出现此错误。有趣的是，如果我从头开始重新运行工作流，相同的作业将不会错误地完成，而其他作业可能会产生错误。此外，我手动检查了输出，没有发现任何
浏览 5提问于2021-06-24得票数 2
我定义了要传递给shell脚本的envvars。 envvars:
"PASS" 如果我忘记在shell中指定它们，使用snakemake -n的预演将提醒我设置它。执行在我的本地机器上运行良好，但是我没有设法将envvar传递到我的集群环境中。尽管我设置了环境变量，但我在集群执行后遇到了下面的snakemake错误。由于snakemake错误，作业永远不会启动。执行snakema
浏览 23提问于2020-07-29得票数 0
回答已采纳
在集群上运行Snakemake时，通过slurm可以很好地调度作业。有时，我遇到这样的情况:一个作业失败，从而导致在仍在运行的作业完成后停止snakemake实例/运行。为了加快速度，我停止了snakemake (CTRl+C)并重启了它。我没有想到的是，在这种情况下，上一次运行的一些作业可能仍然在集群上运行。因此，如果在此之前没有写入任何输出，则可能会再次启动相同的作业
浏览 4提问于2021-04-12得票数 2
我试图使用Snakemake来处理高性能HPC上RNASeq管道的运行，使用SLURM来调度作业。我读到Snakemake本机支持使用snakemake --cluster在集群上使用SBATCH调度作业，但是这会创建一个CATC-22：
如果从登录节点运行snakemake --cluster，则它生成的Snakemake进程将继续在登录节点上运行，直到管道停止运行为止，这会降低登录节点的性能并违反HPC集群的规则
浏览 12提问于2022-08-05得票数 1
我正在寻找一种以编程方式关闭/退出/停止运行的snakemake工作流的方法--本质上使用在工作流中调用的python函数，但是可能会遇到一个无法恢复的错误，要求工作流停止以进行人工干预。我实际上想要做的是:我在GPU节点上启动(guppy )作业，并且必须在命令中指定要使用哪个cuda核心。该函数检查是否存在锁文件，以指定正在使用的核心和可用的核心。使用资源，并行gpu作业的数量仅限于可用的核心数量。这是可行的，但我希望能够捕捉意外的问题，例如，一个gpu_lock文件被删除或不清理
浏览 10提问于2022-10-11得票数 6
我想在大约300个文件上运行我的snakemake流水线。不幸的是，它需要太多的内存，而不是我的系统实际拥有的。所以我想知道是否有一种设置，或良好的做法，允许我一次(按顺序)在一个文件上自动启动我的snakemake管道，而不是一次在一个文件上手动启动我的snakemake。
提前感谢！
浏览 4提问于2021-09-16得票数 1
如果我将这些文件夹放在我的slurm.json文件中，作业就会失败。此结构...{rule}{wildcards}...适用于其他不需要创建新文件夹的规则(因为通配符不包含文件夹路径)。毕竟，snakemake创建所有的输出、基准测试和日志文件夹，如果它们不存在的话。为什么它不对SLURM错误和输出文件这样做呢？我的作业失败了，一些日志目录丢失了。我看到目录output/log/job/
浏览 6提问于2019-04-22得票数 2
回答已采纳
我以前在规则中使用resources关键字指定了作业的内存需求，使用了中建议的变量mem_mb。我还使用threads关键字指定了希望为作业提供的线程数。这些值有时作为作业本身的参数结束(我正在运行的程序允许我指定它的最大内存使用量)。我在将集群提交配置文件/脚本的内存需求规范转换为qsub (每个作业的内存需求由每个内核指定)与bsub (每个作业指定
浏览 0提问于2019-04-19得票数 2
回答已采纳
通常，我创建snakemake工作流并在slurm集群上执行它们。由于GPU节点有限，我想检查我的模型，停止作业，并偶尔重新提交，以不阻止GPU。这样做的目的是用短时间运行的任务迭代地训练模型。是否有另一种聪明的方法可以迭代地训练模型，而不必手动提交作业？
浏览 9提问于2020-11-20得票数 0
我正在使用snakemake 函数，这个函数似乎很依赖于，对于简单的示例来说，它工作得很好，但是我不知道如何处理更复杂的参数设置。假设我为多个峰值调用者(例如macs2和genrich)实现了这个选项。config.yaml如下所示： - macs2: - genrich:如果没有指定峰值调用者，我希望它使用这些参数默认为macs2，并且如果指定了</e
浏览 1提问于2019-08-22得票数 2
回答已采纳
在Snakemake中，据我所知，我们只能根据作业尝试的次数动态地调整作业资源。当尝试在失败后重新调整资源时，从以下类型的集群故障中识别出来是有用的：
有没有办法这样做？或者这是一个计划好的功能？保留以前失败原因的列表，而不仅仅是attempts计数将是最
浏览 0提问于2018-05-02得票数 0
在下面的示例中，如果shell脚本shell_script.sh向集群发送作业，是否有可能让snakemake知道集群作业的完成情况？也就是说，首先，文件a应该由shell_script.sh创建，它将自己的作业发送到集群，然后，一旦完成了这个集群作业，就应该创建文件b。为了简单起见，让我们假设snakemake是在本地运行的，这意味着唯一的集群作业来自shell_script.sh，而不是snakemake。
浏览 1提问于2018-04-26得票数 1
回答已采纳
在运行了一个步骤之后，可以将这个步骤刚刚计算的中间状态写入磁盘，并加载这样一个中间状态，而不是从头开始。写入和加载中间状态有不可忽略的成本.我能看到的另一个解决方案是在多个依赖的作业中打破长的计算链。要提交的作业列表及其依赖项基本上是我在上面绘制的树(除了S3/S4将合并在同一个作业中外)。这是8个要提交的作业，而不是5个，但是我可以从一开始就将它们全部
浏览 3提问于2019-11-02得票数 1
回答已采纳
问题
4)如果我在config.json文件中指定了{jobid}，那么Snakemake就不知道如何处理它。这样，我就有了一个通用的snakemake调用(
mpileupSPLIT-Pfeiffer_chr19.1.e
浏览 2提问于2017-05-25得票数 0
回答已采纳
1回答
data/bam/{age}/{sample}.bam" """ """
虽然我使用的是一个升级版本，我基本上下载了所有的东西我预计这会将多个作业推送到我的集群中，并让每个作业下载分配的文件。相反，Snakemake开始使用桶路径将本地进程中的每个文件下载到本地文件夹中。我没有等待它耗尽我的配额(这很容易)，但看起来集
浏览 3提问于2019-12-21得票数 2
Snakemake的调度程序忽略我的mem_mb声明，并在并行作业中执行，其加起来的要求超过可用内存(例如，在128 GB系统中有三个带有mem_mb=53000的作业)。此外，即使连续运行，它也会运行声明为需求(当我运行snakemake -T10时超过1TB )的作业。尽管Snakemake分配的内存比它声明的要多，但它似乎也能保持作业的运行。我想的是告诉Snakemake期望分配到一定数量的内存，相应地规划工作流并强制声明的内存消耗约束。对于<e
浏览 9提问于2021-08-09得票数 1
回答已采纳
下面的Snakefile在AmbiguousRuleException中失败run_id = ['R1']
library_id = ['S1']
run_id = ['S1'] # Same as library_id这是与snakemake 6.4.1
浏览 4提问于2021-08-23得票数 1
回答已采纳
1回答
我正试图理解为什么我请求的内核数量的两倍被分配给我的S批作业。我的分区有106个线程：S:C:T然而，对于我的蛇形动物来说，就像这样：-群集“S批处理-n 4 -M {cluster.cluster当我运行squeue时，我看到它一次
浏览 6提问于2021-02-03得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
