Snakemake群集模式，每个规则具有不同的CPU计数
Snakemake群集模式是一种用于管理和执行复杂工作流的工具，它可以在分布式计算环境中运行。在Snakemake中，工作流由一系列规则组成，每个规则定义了一个任务以及其输入和输出文件。每个规则可以指定不同的CPU计数，以控制任务在群集中的并行执行。
Snakemake群集模式的优势包括：
- 灵活性：Snakemake允许用户根据需要定义不同的规则和任务，并且可以根据任务之间的依赖关系自动构建执行顺序。
- 并行执行：通过指定不同的CPU计数，Snakemake可以在群集中并行执行多个任务，从而提高工作流的执行效率。
- 可扩展性：Snakemake可以与各种群集管理系统集成，如Slurm、PBS、SGE等，从而实现对大规模计算资源的有效利用。
- 可追溯性：Snakemake会自动跟踪任务的输入和输出文件，以及任务的执行状态，从而方便用户进行结果的追溯和调试。
Snakemake群集模式适用于各种科学研究、数据分析和生物信息学等领域的工作流管理。例如，在基因组学研究中，可以使用Snakemake来管理基因组组装、比对、变异检测等任务。
对于Snakemake群集模式，腾讯云提供了一系列相关产品和服务，包括：
- 腾讯云容器服务（Tencent Kubernetes Engine，TKE）：TKE是腾讯云提供的一种容器集群管理服务，可以用于部署和管理Snakemake工作流的容器化任务。
- 腾讯云批量计算（Tencent BatchCompute）：BatchCompute是腾讯云提供的一种高性能计算服务，可以用于在群集中并行执行Snakemake任务。
- 腾讯云对象存储（Tencent Cloud Object Storage，COS）：COS是腾讯云提供的一种高可靠、低成本的云存储服务，可以用于存储Snakemake任务的输入和输出文件。
- 腾讯云虚拟专用服务器（Tencent Cloud Virtual Private Server，VPS）：VPS是腾讯云提供的一种灵活可扩展的云服务器，可以用于部署和运行Snakemake工作流的执行环境。
更多关于腾讯云相关产品和服务的介绍，请访问腾讯云官方网站：https://cloud.tencent.com/
相关·内容
我对Snakemake比较陌生，我在弄清楚如何计算每条规则中的工作数量时遇到了一些麻烦。下面是我使用的蛇形文件
rule test:
input:
files = expand("{file}", file=glob.glob("/home/MyData/input/*.csv"))
output:
out = expand("{file}", file=glob.glob("/home/MyData/output/*.csv"))
run:
with ope
浏览 3提问于2020-06-22得票数 0
回答已采纳
在使用集群执行时，我有一个关于Snakemake并行化的基本问题:来自同一规则的作业可以同时在节点内和多个节点之间并行吗？
比方说，我有100个bwa mem作业，我的集群有每个节点都有40个核。我是否可以每个节点运行4个bwa mem，每个线程使用10个线程，然后让Snakemake提交25个不同的作业？本质上，我希望为相同的规则在节点内部和节点之间并行化。
这是我现在的蛇形图：
SAMPLES, = glob_wildcards("fastqs/{id}.1.fq.gz")
print(SAMPLES)
rule all:
input:
浏览 4提问于2022-07-22得票数 0
回答已采纳
我对Snakemake v5.26.1有一个问题，我不确定这是一个bug，还是我做错了什么。
我有以下规则：
rule multiqc:
input:
expand('results/{project}/fastqc/{sample}/{sample}_R{idx}_fastqc.{ext}', project=PROJECT, sample=SAMPLES, idx=[1,2], ext=['html', 'zip'])
output:
html = 'results/{project}/fastqc/multiqc_r
浏览 0提问于2020-11-01得票数 4
我试图在我的docker-compose.yml文件中设置资源限制。
下面是：
version: "3.7"
services:
postgres:
build: "docker/postgres"
container_name: "postgres"
ports:
- 5432:5432
environment:
POSTGRES_USER: prodev
POSTGRES_PASSWORD: prodev
POSTGRES_MULTIPLE_DATABASES:
浏览 0提问于2018-09-13得票数 6
回答已采纳
我想在大约300个文件上运行我的snakemake流水线。不幸的是，它需要太多的内存，而不是我的系统实际拥有的。所以我想知道是否有一种设置，或良好的做法，允许我一次(按顺序)在一个文件上自动启动我的snakemake管道，而不是一次在一个文件上手动启动我的snakemake。
提前感谢！
浏览 4提问于2021-09-16得票数 1
1回答
在异质簇上工作吗？我想作为cluser使用我在家里拥有的一组旧服务器，但它们没有相同的特性( cpus数量、内存等)。
浏览 4提问于2016-01-08得票数 0
回答已采纳
1回答
我刚开始使用snakemake，在snakemake中做映射时有一个简单的问题。我有一对_1.fastq.gz & _2.fastq.gz，我想为大约10对fastq.gz做对尾映射。所以我为这个写了一个snakemake文件。
import os
import snakemake.io
import glob
(SAMPLES,READS,) = glob_wildcards("raw/{sample}_{read}.fastq.gz")
READS=["1","2"]
REF="/data/data/reference/re
浏览 1提问于2019-05-23得票数 1
回答已采纳
我们有一个很好的Prometheus查询，涉及节点的负载及其cpu核心的数量： (avg(node_load1{instance=~"$instance"}) by (instance) / sum(machine_cpu_cores{instance=~"$instance"}) by (instance)) * 100 但是"machine_cpu_cores“已经消失了，取而代之的是我找到了"kube_node_status_capacity{resource="cpu"}，我希望能够按节点进行分组，也能够按节点进行过滤。
浏览 216提问于2021-04-30得票数 0
回答已采纳
我想知道如何最好-或最简单地-使用snakemake与conda。我知道“但是，对于一个简单的snakemake工作流，我认为只需(i)激活单个现有的conda环境、(ii)运行snakemake工作流和(iii)再次禁用环境就更容易了。
这到底是一个好的和简单的策略，还是什么是首选的解决方案？
我是否需要将Snakemake及其依赖项包含在我所有相关的conda环境中，还是应该在全球安装snakemake？
我可以引用现有的conda环境，而不是提供conda yaml描述吗？
浏览 1提问于2017-11-13得票数 3
我正在运行一个带有检查点的Snakemake工作流，从它收集以前未知数量的输出文件。然后，Snakemake应该根据带有下一个规则的文件号创建许多任务，将收集到的检查点文件的某些部分作为通配符用于该规则通配符。这一切都很好，除非我希望该规则也创建日志和/或基准文件，此时抛出：
SyntaxError:
Not all output, log and benchmark files of rule plasmid_spades contain the same wildcards. This is crucial though, in order to avoid that two or mor
浏览 5提问于2022-07-01得票数 1
我正在运行一个带有主Snakefile的工作流，其中包括rules文件夹中的规则，并从这些包含的规则中调用rscript。
下面是几行代码及其特定的文件：
Snakefile：
samples = pd.read_table("samples.csv", header=0, sep=',', index_col=0)
rule extract:
input:
'summary/umi_expression_matrix.tsv'
include: "rules/extract_expression_single.s
浏览 1提问于2018-01-06得票数 1
1回答
我有一个星火流作业，这是从卡夫卡，并保存到红移。
RDD的批处理包含一个列"groupId“的数据，但是下面的代码不是同时运行forEach，而是在Yarn中串行运行它。
纱线环境：
客户端模式默认调度器FIFOExector实例3+执行器:2核，2 GB
inputDstream.foreachRDD { eventRdd: RDD[Event] =>
...
// Convert eventRdd to eventDF
val groupIds = eventDF.select("group_id").distinct.
浏览 6提问于2021-09-24得票数 0
我正在练习用snakemake编写工作流。
我的Snakefile的内容
configfile: "config.yaml"
rule get_col:
input:
expand("data/{file}.csv",file=config["datname"])
output:
expand("output/{file}_col{param}.csv",file=config["datname"],param=config["cols"])
params:
col=
浏览 10提问于2020-10-28得票数 1
回答已采纳
1回答
我们的情况是我找不到任何文件。我们正试图通过分解复杂的关键空间来跨越多台机器/作业。它是一个7焦炭完全随机的白体pwd。
我们创建了一个包含3844个单词的“单词列表”，即两个字母数字字符的所有组合(62 * 62 = 3844)。
aa
ab
ac
..
08
09
00
在配置中，计划设置min/max len =7
为了扩大规模，我们计划创建3844条规则，其中每条规则从单词列表中抓取一行(N行)，后面跟着其他字符的任何一个字母。就像下面这样。
N行字？X?X=规则N
然后，我们可以在命令行调用每个不同的规则，作为一个不同的作业，将所有机器设置为彼此的克隆。
1)像这样的规则(规则N)是
浏览 0提问于2018-01-11得票数 3
假设我在同一个工作流中有两个Snakemake规则，具有不同的环境/内存需求。在Snakemake之外，我将向集群提交两个不同的作业，并根据作业的需要指定不同的选项。是否有方法为不同的规则指定不同的作业脚本，以便在Snakemake管道中复制此操作？
浏览 2提问于2020-08-18得票数 1
回答已采纳
我有以下关于perf的问题。
a)我是否可以同时在不同的内核上运行不同的分析模式。例如，核心0具有基于事件的采样(每N个事件采样一次)和核心1具有自由运行的基于计数器的采样？
b)在a)不可能的情况下。那么是否有可能获得其他内核(内核1)上的PMU计数器的快照，用于内核0上的每个样本(N个事件时溢出)？
附注:该平台是基于Arm Cortex A53的RPi 3b+
浏览 2提问于2019-11-21得票数 0
我已经编写了Snakemake规则，它运行肌肉(MSA-tool)来计算一个目录中所有文件的多序列比对(MSA)。该任务是微不足道的并行，因为不同的文件彼此不依赖。问题是，Snakemake在n个“批”中运行这个规则，其中n是作为参数提供给Snakemake的核心： snakemake -j 4 msa。 Snakemake从并行运行4个作业开始，它等待每个作业完成后才开始新的4个作业的“批处理”。这浪费了CPU时间，因为输入文件的大小变化很大，并且它们的MSA计算时间可能从几秒到几分钟不等。导致以下执行流程： job1|----- |job5|----- |..
浏览 53提问于2021-07-27得票数 0
回答已采纳
我正在与SLURM调度程序在共享计算空间上使用snakemake。我的大多数规则只需要很少的资源/CPU，而有几个规则需要很多资源。我想设置snakemake为每个规则使用最少的资源，除了需要大量资源的规则。根据我的测试，在集群模式下提交每个规则作为子作业时，snakemake将始终使用config.yaml中的核心计数和内存请求。当我在每个规则中定义线程和mem_mb时，它在将规则作为作业提交时不会考虑这些值。在集群模式下，有没有办法让snakemake在提交作业时查看规则的线程/mem_mb，或者根据每个规则定制SLURM资源请求？下面是我的config.yaml (在代码中我称之为cl
浏览 25提问于2021-09-18得票数 0
我正在学习Snakemake，我对wildcard.wildcard_name和{wildcard_name}之间的区别感到困惑。例如，如果这是规则：
rule get_genome_fasta:
"""
Retrieve the sequence in fasta format for a genome.
"""
output:
"data/raw_external/{genome_id}.fa.gz"
params:
fasta_path = lambda wildcards: config["geno
浏览 1提问于2021-01-23得票数 1
回答已采纳
我注意到我的备份rsync脚本花费了相当长的时间从.snakemake/metadata文件夹中复制带有随机名称的内容。
这些文件是用来做什么的？
在snakemake运行完成后，我能安全地擦除它们吗?或者，对于snakemake，是否需要它们才能正确地执行下一次运行？
更普遍地说，有没有一些关于snakemake在.snakemake文件夹中创建的文件的文档？
浏览 1提问于2017-08-10得票数 8
回答已采纳
1回答
我有一个Snakefile，它有一个发送7个不同shell命令的规则。我希望在sbatch中运行这些外壳命令中的每一个，并且希望它们在不同的slurm节点中运行。现在，当我在Snakemake规则的外壳命令中包含sbatch时，我没有得到所需的输出文件，因为它需要一段时间才能运行，并且当sbatch返回时，命令仍在运行。我认为Snakemake认为我没有所需的输出文件，因为它认为命令在提交的作业完成之前“完成了执行”。 如何使用Snakemake文件中的sbatch命令在一个slurm节点中提交每个规则
浏览 31提问于2021-01-24得票数 1
回答已采纳
如果我有三个火花应用程序都使用相同的纱线集群，我应该如何设置
yarn.nodemanager.resource.cpu-vcores
在三个纱线中的每个-site.xml中？
(每个星火应用程序都需要在类路径上有它自己的成纱-site.xml)
这个值在客户端纱线-site.xml的?中是否重要？
如果有，则：
假设集群有16个核心。
每个Sear-site.xml中的值是否应该是5(总共15，以便为系统进程留下一个核心)？或者我应该把每一个都设为15？
(注意: Cloudera表示系统进程应该保留一个核心:但是，没有详细介绍对同一个集群使用多个客户端的细节)
假设Spark正在以纱线为主
浏览 3提问于2016-11-10得票数 3
1回答
我发现输出为'BAM未排序‘。
Q1:有没有办法将其更改为：
-outSAMtype SortedByCoordinate
当我在“额外”选项中添加该选项时，会收到关于重复定义的错误消息：
EXITING: FATAL INPUT ERROR: duplicate parameter "outSAMtype" in input "Command-Line"
SOLUTION: keep only one definition of input parameters in each input source
Nov 15 09:46:07 ...
浏览 1提问于2018-11-15得票数 0
我最近决定从snakemake开始。我找不到任何符合我需要的东西，无论是在堆栈上，还是在snakemake文档上。我觉得有些事情我不明白，我可能需要一些解释。 我正在尝试创建一个简单的snakemake工作流程，它将一个fastq文件和一个序列摘要文件(其中包含有关读取的信息)作为输入，并将fast中的读取内容过滤成几个文件(low.fastq和high.fastq)。 我的输入数据和我正在尝试执行的Snakefile存储如下： .
├── data
│ ├── sequencing-summary-example.txt
│ └── tiny-example.fastq
├──
浏览 13提问于2019-08-27得票数 6
1回答
我正试图理解为什么我请求的内核数量的两倍被分配给我的S批作业。据我所知，我的分区有106个线程：
[.... snake_make]$ sinfo -p mypartition -o %z
S:C:T
2:26:2
然而，对于我的蛇形动物来说，就像这样：
模块加载snakemake/5.6.0 snakemake -s snake_make_tetragonula --集群-配置cluster.yaml -作业70
-群集“S批处理-n 4 -M {cluster.cluster} -A {cluster.account} -p {cluster.partition}”
-延迟-等待1
浏览 6提问于2021-02-03得票数 1
回答已采纳
当之前在流水线中创建的文件被删除时，SnakeMake似乎不认为这是一个问题，只要后面的文件还在：
rule All:
input: "testC1.txt", "testC2.txt"
rule A:
input: "{X}{Y}.txt"
output: "{X}A{Y}.txt"
shell: "cp {input} {output}"
rule B:
input: "{X}A{Y}.txt"
output: "{X}B{Y}.txt
浏览 1提问于2017-09-01得票数 9
我有一个生成黄色补丁的模型，我感兴趣的是集群大小的频率分布。为此，我在NetLogo的代码库中增选了“修补程序集群示例”中的代码。在找到集群(虽然我更希望集群中没有绿色补丁)方面，它似乎在工作(见下面的照片)，但我不知道如何获得每个集群的大小(或补丁数量)。理想情况下，我希望对集群大小的频率分布(不包括绿色补丁)进行直方图，并能够导出这些数据。
此外，如果我能想出一种方法在模型运行时得到集群大小频率的直方图，那就太好了。
我用来获取集群的代码是“修补程序集群示例”中的代码，只是我杀死了所有代理，这样我就可以读取数字了。在这里..。
to find-clusters
ask turtles [d
浏览 1提问于2017-02-15得票数 4
回答已采纳
我正在执行一个snakemake管道
snakemake --cluster ...
它现在运行得很好。但是，由于我不想在这里描述的原因，我希望我的规则不是作为作业提交，而是在运行snakemake的机器/节点中执行。这样的例外是可能的吗？
浏览 2提问于2017-11-15得票数 1
回答已采纳
1回答
--max-status-checks-per-second是对snakemake每秒对每个作业的查询数量的限制，还是对snakemake在每秒钟所有作业中的查询总数的限制？也就是说，如果--max-status-checks-per-second设置为默认值10，并且有500个作业正在运行，那么是否需要至少50秒的时间才能对每个作业进行检查？
浏览 8提问于2022-02-18得票数 1
是否可以按照执行的顺序对单个通配符进行snakemake的模拟运行？
当我称之为试运行时，我在底部得到以下信息：
Job counts:
count jobs
1 all
1 assembly_eval
5 cat_fastq
1 createGenLogDir
5 createLogDir
5 flye
5 medaka_first
5 medaka_
浏览 7提问于2022-06-27得票数 0
我要用蛇纹石做20个基因组。所以我在snakemake中使用了一些基本步骤，比如对齐，标记复制，重新对齐，基本重新校准等等。我使用的机器有多达40个虚拟核和70G内存，我这样运行程序。
snakemake -s Snakefile -j 40
这很好，但是当它沿着其他程序运行标记复制时，它就停止了，因为我认为它重载了70个可用的giga并崩溃了。对于所有运行的程序，是否有一种方式将内存限制设置为60G？我希望snakemake少跑一些工作，才能保持在60G以下，其中一些步骤需要大量内存。下面的命令行也崩溃了，使用的内存比分配的要多。
snakemake -s Snakefile -j 40 -
浏览 3提问于2021-12-06得票数 1
回答已采纳
这两个集群角色在每个Kubernetes集群中都是默认的，但是拥有这两个角色的目的/它们之间的具体区别是什么？
浏览 19提问于2020-02-19得票数 2
回答已采纳
3回答
我正在部署一个包含多个服务的堆栈文件(每个服务只有一个副本)，我需要限制每个容器使用不同的CPU核心子集。我在网上发现，的堆栈文件(compose v3)不支持cpuset。我尝试了cpu限制，但这将只指定一定百分比的cpu资源，而不是核心。这个案子有工作要做吗？我需要核心分配，以支持软件许可限制。
浏览 2提问于2018-08-24得票数 1
回答已采纳
我正在编写一个snakemake管道，以最终识别冠状病毒变体。
下面是一个包含三个步骤的最小示例：
LOGDIR = '/path/to/logDir'
barcodes = ['barcode49', 'barcode50', 'barcode51']
rule all:
input:
expand([
# guppyplex
"out/guppyplex/{barcode}/{barcode}.fastq",
#
浏览 54提问于2021-06-09得票数 1
回答已采纳
Snakemake似乎以广度优先的方式遍历DAG。是否可以(例如，通过选项/标志/等)强制snakemake遍历DAG深度优先？
浏览 23提问于2020-10-02得票数 2
回答已采纳
我试图在kubernetes集群(GKE)上运行snakemake管道。该作业是从GCE启动的。有时起作用，但大多数情况下不起作用。
我采取的步骤是
gcloud container clusters get-credentials snakemake-k8s-demo
kubectl delete pod $(kubectl get pods | grep snakejob|colprint 1)
snakemake --kubernetes --container-image eu.gcr.io/scailyte-is/snakemake-gsdk --use-conda --defaul
浏览 0提问于2020-04-09得票数 2
回答已采纳
关于snakemake
我得到了
Building DAG of jobs...
Nothing to be done.
如果我试着
snakemake -n dag
我得到了
Building DAG of jobs...
MissingRuleException:
No rule to produce dag (if you use input functions make sure that they don't raise unexpected exceptions).
我不知道问题出在哪里。
我的主要snake文件：
configfile: "config_rules
浏览 0提问于2019-05-23得票数 1
我在conda环境中使用Snakemake。在我的snakefile的开头，我有一个"log-Rule"，用来保存运行信息。这些信息之一是哪些工具是环境(conda list >> log.file)的一部分。 rule logRule:
params:
runID
output:
cfgLocation+runID+"_runParams.txt"
priority: 1
shell:
""
浏览 155提问于2021-09-27得票数 1
2回答
我需要在集群中运行snakemake规则，因此对于某些规则，我需要一些工具和库来加载，而这些工具与其他规则是独立/独占的。在这种情况下，如何在我的snakemake规则中指定这些。例如，对于rule score，我目前需要module load r/3.5.1和export R_lib =/user/tools/software，在运行snakemake之前，我在命令行中分别运行这些行。但是，如果有一种方法可以在规则中作为env来实现，那就太好了。
问题，
我有个规矩如下，
rule score:
input:
count=os.path.join(conf
浏览 0提问于2019-05-27得票数 1
回答已采纳
我写了我的第一个使用python脚本处理文件的snakemake规则：
rule sanitize_labels:
input:
"data/raw/labels/rois_essence_31_10_2019_final.shp",
"data/raw/labels/pts_carte_auto_final.shp"
output:
"data/interim/labels/rois_essence_31_10_2019_final.csv",
"data/
浏览 112提问于2020-02-10得票数 0
回答已采纳
原题：
据我所知，snakemake (参见)的最佳实践是，每个规则都应该有自己的envs文件，以保持模块化和可维护性。在我的例子中，那是25种环境。我认为，通常情况下，这些工具只应该为每条规则指定最小所需的工具。
但是，对于某些规则来说，这是失败的，在规则env中安装的工具会拉出与运行snakemak的“父”env中的版本不完全相同的pandas或numpy版本。
例如，pandas不匹配导致
AttributeError: Can't get attribute '_unpickle_block' on <module 'pandas._libs.in
浏览 12提问于2022-05-04得票数 -1
我遇到了一个问题，当我尝试一条规则时，我会收到这样的信息.
The code used to generate one or several output files has changed:
To inspect which output files have changes, run 'snakemake --list-code-changes'.
To trigger a re-run, use 'snakemake -R $(snakemake --list-code-changes)'.
当我查看有更改的文件时，它们的时间戳比用于生成它
浏览 11提问于2022-04-06得票数 2
这里没有经验，自认为是“编码器”，所以请理解:]
我正在尝试学习和使用Snakemake来为我的分析构建管道。不幸的是，我无法同时运行单个作业/规则的多个实例。我的工作站不是计算集群，因此我不能使用此选项。我花了几个小时寻找答案，但要么没有答案，要么我没有足够的知识来理解它。那么:有没有办法同时运行单个作业/规则的多个实例？
如果你想要一个具体的例子：
假设我想使用fastqc工具分析一组4个.fastq文件。所以我输入了一条命令：
time snakemake -j 32
从而运行我的代码，即：
SAMPLES, = glob_wildcards("{x}.fastq.gz"
浏览 0提问于2018-06-25得票数 1
问题
我不确定是否保存了-N参数。SGE集群除了-N参数之外，一切都正常工作。
Snakemake需要一个有效的-N调用
它没有正确地设置作业名称。
它总是恢复到默认名称。这是我的调用，它具有相同的结果，无论是否使用-N参数。
snakemake --jobs 100 --drmaa "-V -S /bin/bash -o log/mpileup/mpileupSPLIT -e log/mpileup/mpileupSPLIT -l h_vmem=10G -pe ncpus 1 -N {rule}.{wildcards}.varScan"
我发现影响职务名称的o
浏览 2提问于2017-05-25得票数 0
回答已采纳
3回答
我正在使用为一个大型编程班级(>100名学生)提供一个托管开发环境。它运行在启用了自动缩放的GKE之上。随着更多的学生登录，更多的节点会动态添加到池中，以处理增加的需求。
我遇到了一个问题，节点池耗尽了外部I的项目配额，有效地将池的大小限制为8个并发节点。确切的错误是。这些节点位于用于与最终用户通信的反向代理之后；据我所知，这些公共is的唯一用途是启用到每个单独节点的直接SSH。我不需要甚至不想要这个功能，因为它提供了一个不必要的攻击面。
如何禁用为这些工作节点自动分配临时I？一定有办法，因为GKE的文档表明，自动伸缩可以增长到大约1000个节点。如果它们都受到相同的微小外部IP配额的限
浏览 0提问于2018-01-10得票数 4
我在snakemake是个新手，我试着去了解它是如何工作的。我试着拉一个简单的蛇形
from snakemake.utils import min_version
min_version("5.3.0")
max_reads: 250000
sra_id: ["SRR1187735"]
rule all:
input:
"DATA/{sra_id}.fastq.gz"
rule prefetch:
output:
"DATA/{sra_id}.fastq.gz"
p
浏览 5提问于2021-04-01得票数 1
我正在尝试运行一个带集群提交的snakemake，用于RNAseq分析。下面是我的脚本：
#path to gff
GFF = "RNASeq/data/ref_GRCh38.p2_top_level.gff3"
#sample names and classes
CTHP = 'CTHP1 CTHP2'.split()
CYP = 'CYP1 CYP2'.split()
samples = CTHP + CYP
rule all:
input:
'CTHP1/mapping_results/out_summary.gt
浏览 1提问于2017-04-12得票数 0
1回答
前向代理集群
、、
我想弄清楚Docker还是Kubernetes是我用例的好选择。
基本上，我希望构建一个小集群的前向代理(通过squid、nginx或自定义nodejs脚本)，并且能够将它们一起部署/启动/停止/清除。
我应该能够通过一个IP地址访问代理集群，管理器应该能够负载平衡请求到一个节点，并且每个代理节点必须使用唯一的传出IP地址。
我想知道：
“码头工人群”和/或“库伯奈特斯”是正确的做法吗？
如果是这样的话，我应该在一个单独的专用服务器或单独的虚拟服务器上设置DockerS蜡和/或Kubernetes及其工作节点(运行代理)吗？
所有集群节点是否也可以共享用于缓存、公共配置等的文件系统
浏览 5提问于2017-02-15得票数 0
回答已采纳
当您使用--restart-times >= 1执行snakemake脚本时，它将尝试重新执行失败的运行。在重新执行时，可以通过"resources“中的lambda函数访问执行尝试的次数。但是，我希望在我的规则之外访问python代码块中的尝试次数。我已经尝试将变量从resources块传递到我的python函数，但无济于事。我的snakemake版本是5.32.1，与6.0.3的快速测试看起来非常相似。
def getTargetFiles(files, attempted):
do stuff
return modified-target-files
ru
浏览 0提问于2021-06-08得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
