如何同时运行5个Shell作业并保持队列中的其余部分？
在云计算领域中，同时运行多个Shell作业并保持队列中的其余部分，可以通过以下方式实现：
- 使用后台运行命令：在Shell命令后面加上"&"符号，可以将命令放入后台运行，例如：
command &。这样可以同时运行多个Shell作业，但无法保持队列中的其余部分。 - 使用作业控制命令：可以使用作业控制命令来管理Shell作业的运行。例如，使用
jobs命令可以查看当前运行的作业列表，使用fg命令可以将后台作业切换到前台运行，使用bg命令可以将前台作业切换到后台运行。 - 使用任务调度工具：可以使用任务调度工具来同时运行和管理多个Shell作业。常见的任务调度工具包括Cron、Jenkins、Airflow等。这些工具可以设置作业的执行时间、依赖关系、重试机制等，从而实现作业的并发运行和队列管理。
- 使用并行处理工具：可以使用并行处理工具来同时运行多个Shell作业。常见的并行处理工具包括GNU Parallel、xargs等。这些工具可以将多个作业分配给多个处理单元并行执行，提高作业的执行效率。
- 使用容器技术：可以使用容器技术如Docker来同时运行多个Shell作业。通过将每个作业封装为一个独立的容器，可以实现作业的隔离运行和资源管理。可以使用Docker Compose等工具来管理多个容器的运行和协调。
总结起来，同时运行多个Shell作业并保持队列中的其余部分，可以通过后台运行命令、作业控制命令、任务调度工具、并行处理工具和容器技术等方式实现。具体选择哪种方式取决于实际需求和场景。
相关·内容
"rabbitmqctl list_connections“显示为正在运行，但在connections选项卡的UI上，在客户端属性下，我看到了"connection.blocked: true”。
我可以看到消息在RabbitMq中排队，连接处于空闲状态。
我把芹菜放在气流中。我的作业根本没有执行。
这是作业不执行的原因吗？
如何解决此问题，以便我的作业开始运行
浏览 2提问于2017-05-10得票数 1
我们有一个应用程序，在这个应用程序中，我们为运行用户定义的作业(用python的说法是子进程)处理各种处理节点。这些节点可以有一个或多个核心(为了讨论起见，可以说是2个)。用户定义他们想要使用多少核心(1或2)来运行他们的子进程。调度应用程序对相关节点上的作业进行调度。例如，如果有两个节点具有一个核心(A和B)，一个节点具有两个核心(C)：
如果为一个核心调度了4个作业，调度程序将为A中的一个核心执行一个作业，在B中执行一个任务，在C中执行两个核心任务
如果调度器为一个核心调度三个作业，为两个核心调度一个作业，则调度程序为A中的一个核执行一个作业，一个在B中执行一个作业，在C中执行两个
浏览 3提问于2016-03-03得票数 0
我为大约3周前创建的web应用程序设置了一个过渡环境，并尝试将数据从已经使用拷贝数据设置的生产环境传输到数据存储区管理中的另一个应用程序。
数据确实被复制到了我的暂存环境中。问题是，拷贝作业在被激活3周后仍在运行！(将数据传输到我的分段设备大约花了3个小时。)
我尝试使用abort选项取消作业，但没有成功。
到目前为止，14个作业中有7个被列为已完成，其他作业被列为活动。我的/_ah/mapreduce/controller_callback处理程序每秒被3.1个帖子轰炸，我认为它已经到了损害我的站点性能的地步，更不用说要花我的钱了……
如何让任务中止？
浏览 0提问于2012-02-27得票数 1
3回答
我们有几个夜间作业运行在Oracle11g R2实例中，并不是所有这些作业都在我们的控制之下。其中一些是第三方运行的外部数据负载。这些作业作为PL/SQL包实现，并使用DBMS_SCHEDULER工具运行。
这些作业中的一些操作在同一组数据上，一个包含用户条目的表，例如更新个人数据、删除退役用户、添加新加入的用户。由于作业大多使用bulk语句来运行更新，我们现在已经多次遇到阻塞锁，不得不杀死单个作业以允许其他作业通过。
有什么好的方法来防止工作之间的冲突？
我在想这样的事情：
possiblecoordinating 设置一个元作业，它了解依赖项并协调依赖作业，这些任务与第三方将冲突的作业作为
浏览 4提问于2012-01-24得票数 2
回答已采纳
标题说明了一切..。
我们使用SGE/OGE向一组工人节点提交作业，然后使用特定的设备进行操作。已创建的操作此设备的程序和脚本依赖于以根用户身份运行。我希望SGE能够以一种考虑用户、组、项目等的方式来处理资源分配，但我也需要实际的作业才能使用根权限运行。
我在如何在网格引擎中以根用户身份运行序言脚本？上读了一些文章，看是否有任何相关之处，但似乎SGE提供了一种专门针对prolog和epilog类操作的"user@“规范。作业本身有类似的功能吗？
我知道su/sudo方法，但这在这个环境中不起作用，因为sudoers文件不是全局管理的(也就是说，我必须在许多机器上向/etc/sudoer
浏览 0提问于2011-10-27得票数 2
我想知道，当我用laravel发出一份工作时，是否只有lambda功能。
我用的是下面。
Laravel 5.8(PHP 7.2)
AWS SQS
监督员d
在Laravel中，我发送一个带有SQS连接的作业，作业在Laravel项目中。我搜索了如何使用SQS作为lambda函数的触发器。我找到了这份文件。( )如果我遵循这个文档，我想我可以在lambda运行作业。但在Laravel项目中，作业将再次运行。我只想用兰达做工作。
如何才能将lambda函数作为作业运行？
浏览 0提问于2020-05-08得票数 2
4回答
我需要设计一个Swing应用程序，这将需要发送多个作业作为客户的要求。每个作业都运行相同的shell脚本，这将需要10-30分钟来返回值。(作业不是在应用程序服务器上运行，也不是作为web服务运行。)，然后Swing应用程序需要根据返回值决定下一步要做什么。我的问题是，我是否可以使用JMS发送作业。如果没有，你建议我调查什么？多线程...
非常感谢!
浏览 2提问于2010-02-18得票数 1
回答已采纳
我正在做一项服务，用户计划他的推文，例如，我想在明天下午12:30发布一条推文如何做到这一点？cron作业是这样做的最佳方式吗？比如每隔5分钟运行一次cronjob，看看在这段时间内是否有tweet要发布？还有别的选择吗？
浏览 0提问于2013-04-22得票数 0
回答已采纳
我正在做一个项目，在这个项目中，我们每次都需要在HPC集群中执行很多作业(比如60000个作业)。
从HPC文档中，我注意到HPC有两种排队模式:按队列顺序启动作业，并尝试将最大请求资源分配给正在运行的作业。-平衡模式:尝试以最低资源要求尽可能快地启动所有传入作业
但我不确定这种平衡模式在HPC中的容忍度。它是否可以像AWS中的SQS或Azure中的队列存储等其他队列服务一样进行扩展？
浏览 3提问于2018-12-03得票数 0
情况是，我使用纱线来管理一个同时运行Spark和Hadoop的集群。通常，作业没有相对大量的输入数据，但是偶尔会运行一系列Hadoop MapReduce作业，这些作业确实有大量的输入数据，并且可以长时间地将集群捆绑在一起，这样其他用户就不能运行他们更小的作业。
当集群为空时，我想要做的是将整个集群用于大规模作业，但是如果另一个用户提交了一个作业，我希望使用抢占式调度功能来杀死大型作业中的一些容器，这样它们就可以用于较小的作业了。然而，我不想让任何其他的工作被抢占，只想做大量的工作。
从我所发现的情况来看，使用公平的调度程序、为大规模作业定义队列、并以某种方式只在大规模作业队列上启用抢占似乎是
浏览 1提问于2016-01-26得票数 1
回答已采纳
2回答
我的用例：
我的应用程序将有任意数量的用户，每个用户都将有他们想要处理的各种作业。这些工作应该能够同时进行--无论如何，其中一些是可以的。
因此，例如，如果User1通过UpdateStock和CompleteSale这样的命令发送，而User2通过像UpdateStock这样的命令发送，那么这些命令中的每一个都需要排队并允许彼此并发运行。
我一直在研究，看起来，如果我把所有3个作业都放在一个队列中，它们一次只能运行一个，但是如果我把它们放到三个不同的队列中，它们都可以同时运行。我明白吗？
因此，这就引出了我的下一个问题:我需要一个队列，每个用户，每个命令。当然，新用户总是在注册，如果我需要运
浏览 5提问于2020-01-02得票数 4
回答已采纳
2回答
我有一份Hudson的工作，有两个任务。如果我先启动任务A，然后在任务A仍在运行的情况下启动任务B，那么任务B在任务A完成之前不会开始运行。我对此作业没有锁定(即"Locks“选项未勾选)。如何启用此作业以使任务A和任务B同时运行？
浏览 1提问于2009-06-04得票数 0
1回答
我正在从事CakePHP项目。
我有一些任务要在后台执行，可能需要很长时间才能完成。因此，我使用了插件(多亏了dev)。
现在，我已经将所有任务移动到一个shell中，每次用户单击一个按钮，就会使用此函数从控制器创建一个新作业。
$job = $this->QueuedJobs->createJob('Scan', [
'server_id' => $id,
'user' => $this->Auth->user('id'),
]);
这很好用。但是为了执行任务，我需要从终端运行命令
浏览 1提问于2017-04-12得票数 0
回答已采纳
我创建了一个简单的蓝色网页作业，它可以从传入的网站获取一些数据，并将其解析并添加到数据库中。
它只是一个简单的控制台应用程序(.exe文件)，它接受一个参数。它被上传到Azure上的一个网络应用程序。
然而，我的印象是，这个网络工作只会启动和完成很多次的需要。因此，如果我一个接一个地向webjob发出3个命令，我将得到3个同时运行的end作业实例。
但是，这不管用。我只能运行一次。另外两个命令失败。是否有可能在一个web应用程序中拥有一个单一的web作业，并且在同一个web作业处理不同的东西也在运行的同时，它能同时运行吗？
浏览 2提问于2017-06-17得票数 5
回答已采纳
我有两个Rails应用程序运行在两个不同的实例上(比如Server1和Server2)，但是它们有相似的代码，并且共享相同的Postgresql。
我安装了Sidekiq，并将作业从这两个服务器推送到队列中，但我只在Server1中运行Sidekiq进程。
我有一个Redis服务器，它在Server1上运行，它与Server2共享Redis。
如果一个任务是从Server2中推送出来的，那么它将在Server1 1的Sidekiq进程中得到处理，而这正是我真正想要的。
我的问题是
Server1上的Sidekiq进程如何知道一个作业是在Redis中被推送的？
Sidekiq进程是不断地
浏览 6提问于2015-12-24得票数 5
回答已采纳
1回答
如何并行运行AWS胶水作业？
、、、、
我想并行运行我的Glue作业。基本上，我是从Step函数开始Glue作业的，它依赖于完成以前的状态Lambda将msgs放到SQS上。然后我的“胶水作业”一个接一个地从SQS取味精。我想加快胶水作业方面的处理速度，通过并行运行它。
在Step函数中，我可以看到两种实现并行的方法：
state"Parallel“"Map”状态
根据AWS：“当并行状态使用相同的输入执行多个步骤分支时，Map状态将对状态输入中的数组的多个条目执行相同的步骤。”
但是，在我的例子中，步骤函数中的“输入”是无用的，因为我使用的是SQS。当使用“并行”状态时，我需要在状态机中复制相同的“步骤”。(代码复
浏览 0提问于2021-04-06得票数 0
4回答
EMR并行运行步骤
、、、
我正在电子病历集群上运行一个火花作业，我所面临的问题就是
触发的EMR作业正在分步骤执行(在队列中)
是否有任何方法使它们并行运行，如果没有，是否有任何修改？
浏览 6提问于2017-03-30得票数 7
我有N个工作线程和一个作业队列。当工作线程空闲时，它从队列中选择一个作业并开始运行它。到目前为止还很简单。
然而，我的工作有一项财产，我将称之为“颜色”。两个颜色相同的作业绝不能同时运行。
例如，假设有两个线程，一个是运行红色作业，另一个是空闲。空闲线程查看队列，但它不能选择红色作业(因为如果这样做了，将有两个不允许运行的红色作业)。如果队列中有一个蓝色作业，它可以运行它。如果队列中只有红色作业，则空闲线程必须等待其他线程完成。然后两个线程都处于空闲状态，它们必须选择不同颜色的作业来运行，如果到那时队列中仍然只有红色作业，则必须保持空闲状态。
我的问题是这里应该使用哪些同步原语。我想把队列分组
浏览 0提问于2020-01-08得票数 0
回答已采纳
一个小问题是，假设我将一条消息排入"ActiveMQ“队列，有没有办法(从.net环境)知道该消息是否已被使用或仍在队列中？
是否可以查询"ActiveMQ“队列以了解消息的当前状态？
我将尝试给出更多的背景知识，我对微服务非常陌生，并且仍然在努力认识到这种架构带来的所有挑战，所以如果我的问题很琐碎，请原谅。
我正在构建一个可以在分布式机器/节点群中运行“作业”(无论它们是什么)的系统。
最终用户可以将“作业”提交到某个节点或一组节点，节点需要经过一些准备过程才能执行。
我可以使用activemq队列来处理这个管道，但是我会问自己是否仍然需要维护数据库。
假设用户在排队一个作业
浏览 0提问于2018-03-20得票数 0
1回答
浅谈阿克卡演员
、、
以下语句是否正确，否则如何改进？
当阿克卡演员被发送一条消息时，作业将提交给执行者。当有一个空闲线程时，它调用获得对参与者的锁的作业(假设它可以，否则另一个作业将被接受)。然后调用参与者的receive方法，一旦它完成，作业就被丢弃，线程返回到池中。然后，循环被重复。与并发线程相关的所有复杂内容都由Akka处理，使程序员能够集中精力解决业务问题。
浏览 0提问于2013-02-07得票数 2
回答已采纳
4回答
我们有一个应用程序需要
每晚重新处理大量数据，以及
按需重新处理大量数据。
在这两种情况下，大约产生了10,000个石英作业，然后运行。在夜间情况下，我们有一个石英cron作业，它产生10,000个作业，每个作业分别处理数据。
我们遇到的问题是，我们运行的线程大约有30个，因此石英作业自然会失火，并且会继续失火，直到处理完所有的线程。处理时间可达6小时。这10,000个作业中的每一个都与一个可以并行处理且完全独立的特定域对象有关。10,000份工作中的每一项都需要一段可变的时间(从半秒到一分钟)。
我的问题是：
有更好的方法吗？
如果不是，那么我们安排/设置石英作业的最
浏览 8提问于2013-12-27得票数 12
回答已采纳
这是一种可以接受的方法来产生多个线程的串联？
public class SomeClass {
public static void execute(Job job) {
Thread t1 = new Thread(new Runnable()) {
public void run() {
try {
SomeOtherClass.method(job)
} finally {
boolean more
浏览 0提问于2019-08-14得票数 1
回答已采纳
我需要访问公牛队列来查看作业状态并显示在页面上。我使用bull-repl从CLI访问队列，如下所示：
> bull-repl
BULL-REPL> connect marathon reddis://localhost:6379
Connected to reddis://localhost:6379, queue: marathon
BULL-REPL | marathon> stats
┌───────────┬────────┐
│ (index) │ Values │
├───────────┼────────┤
│ waiting │ 0 │
│
浏览 3提问于2019-07-22得票数 6
回答已采纳
最终目标
目的是让我的应用程序可能会向Redis队列发送大量电子邮件(此位正在工作)，然后Redis将处理这些邮件的时间限制为每一分钟只发送一组电子邮件。
对于这个例子，我有一个测试作业，它将时间附加到一个文件中，并且我试图每60秒将它节流一次。
到目前为止的故事..。
到目前为止，应用程序已经成功地将50个任务的测试量推送到Redis队列。我可以登录到Horizon，并在"processjob“队列中看到这50个作业。我还可以登录到redis-cli，并在列表键"queues:processjob“下看到50组。
我的问题是，一旦我试图打开节流阀，只运行一个作业，其余作业就会
浏览 0提问于2018-10-04得票数 1
回答已采纳
2回答
我们每个工作日都会在Spring batch中运行一个作业，该作业是从另一个系统触发的。有时会有多个作业实例在同一天运行。每一个都是从另一个系统触发的。每个作业运行大约一个小时，如果有几个作业实例要运行，我们会遇到一些数据问题。
我们希望优化此步骤如下，如果没有作业实例正在运行，则启动一个新的作业实例，如果有一个作业实例正在运行，则将新的作业实例放入队列中。每个作业实例必须在触发下一个作业实例之前完成。如果一个失败了，下一个必须等待。作业参数是一个增量器和一个时间戳。
我用谷歌搜索了一下，但找不到任何有用的东西。所以我想知道，在spring batch中排队作业实例是否有责任？如果是这样，我该
浏览 5提问于2017-10-10得票数 2
1回答
到目前为止，我只为我的项目运行一个豆茎工作线程，它同时处理基于cron的作业和实时作业。所以，我想把它分成两个工人。一个工人用于跟踪基于cron的作业，另一个用于跟踪实时异步作业。这样，工人的工作效率就会得到提高。任何人都可以帮我，
如何使用php?A示例脚本来处理多个豆茎工人？
注意:目前我使用的是斐然茎php库。
浏览 2提问于2011-04-09得票数 5
回答已采纳
Google App Engine有两种稍后运行作业的方法：和
据我所知，它们支持所有相同的功能(例如，可以将延迟的作业放在特定的任务队列中，以便您可以限制执行)-但延迟的作业看起来更容易实现，也更灵活。
有人知道每种方法的优点和缺点吗？在哪些情况下，您希望使用任务队列而不是延迟的作业？
浏览 0提问于2011-02-06得票数 4
回答已采纳
我决定尝试使用oracle调度程序来调度我的作业，我创建了一组作业，我尝试使用queue来交互这些作业，我尝试使用一个或两个它正在完美运行的作业，但是当我使用一组作业(超过20个作业)并试图与那些使用queue的作业进行通信时。作业成功后，它将向queue中并行地为其他作业发布更多的消息，在一些成功的发布之后，它会抛出此错误。
SQL> @put.sql
PL/SQL procedure successfully completed.
PL/SQL procedure successfully completed.
PL/SQL procedure successfully c
浏览 12提问于2014-03-10得票数 2
1回答
我有一个棘手的问题，我不确定如何解决。假设我们有10个作业(N=10)和4个worker (num_threads=4)，我需要找到一个函数，它可以为这些worker中的每一个分配开始索引，使得任何worker完成的作业都不会超过或少于2个。作为一种简单的方法，我使用了start_index = rank * N/num_threads公式，但这会产生不平衡的结果(第四个线程只有1个作业，而前3个线程有3个作业)。任何在正确方向上的推动都将是非常感谢的！
浏览 20提问于2020-11-19得票数 0
需要：
从DB中的作业队列执行作业的Windows服务
通缉：
此类应用程序的示例代码、指南或最佳实践
背景：
用户将单击一个ashx链接，该链接将向DB中插入一行。
我需要我的windows服务定期轮询这个表中的行，它应该为每一行执行一个工作单元。
重点：
这对我来说不是全新的地形。
编辑：您可以假设我知道如何创建Windows和基本数据访问。
但我需要从头开始写这个服务。
我只想预先知道我需要考虑什么。
编辑：--我最担心的是失败的作业、争用作业和保持服务运行。
浏览 4提问于2010-07-16得票数 6
如何使重新排队和重新排队调度器作业并行工作，
我可以像这样同时运行两个工作进程
COUNT=2 QUEUE=* rake resque:workers
但是当2个resque作业正在工作时那么resque调度器作业在队列中等待，
我需要resque调度器作业与resque作业并行运行
浏览 2提问于2013-11-21得票数 1
我已经配置了一个laravel队列来发送电子邮件，它过去可以很好地立即发送电子邮件。
我还使用了laravel任务调度程序并配置了队列:侦听以每分钟执行一次，导致服务器崩溃，因为cron作业一次又一次地调用队列:work循环.现场崩溃了。这是客户的现场，所以问题很严重。
托管公司修改了我的laravel任务，使其每5分钟运行一次。自从它崩溃后，所有的邮件现在都留在数据库中，数据库队列根本无法工作。我想这个过程根本不运行。
我有以下问题：
如何在数据库中执行堆叠队列记录？
如何使数据库队列再次工作？
如何配置cron作业和laravel计划以使其正常工作。
注意:我希望它与数
浏览 11提问于2017-05-04得票数 0
回答已采纳
2回答
拉勒维尔-理解工作概念
、、、、
处理Laravel队列，我理解的是作业是一个接一个地在队列中执行的任务。
拉勒维尔医生说：
换句话说，如果您没有显式地定义应该向哪个队列分派作业，那么作业将放在连接配置的queue属性中定义的队列上：
//此作业被发送到默认队列..。
职务：：调度()；
//这份工作被发送到“电子邮件”队列..。
工作：：调度()->onQueue(“电子邮件”)；
在同一文档页的另一个地方，我发现：
ProcessPodcast::dispatch($podcast);
ProcessPodcast是这里的一个作业，它带有一个参数，即$podcast。但在文档中，除了上述2行之外，我没有找到语法J
浏览 5提问于2020-01-11得票数 2
1回答
我对是否在调度程序中安排作业或命令感到困惑。我真的找不到任何深入的数据，为什么我会选择一个而另一个。通常，我会考虑一个给定的计划任务将运行多长时间，如果它是“长的”，那么我将创建一个作业，但最近我将一些作业切换到了最近的命令，因为我可以手动运行它们。
另外，如果我在调度程序中使用命令，并且使用的是runInBackground()，那么这与作业有什么不同？
浏览 3提问于2022-02-18得票数 2
回答已采纳
1回答
我正在使用具有队列触发函数的Azure webjobs (依赖于Azure webjobs sdk)来执行一些后台处理工作。在the作业中，我建立了到SQL Azure数据库的各种连接(使用使用System.Data.SqlClient的PetaPoco )。
我希望我的数据库连接策略是有目的的--特别是因为环境中存在一些固有的并发问题。
一个并发场景是SDK的BatchSize属性，您可以为队列触发的set作业设置该属性。我的理解是，设置BatchSize >1会导致队列触发函数的多个实例在同一个webjob作业进程中运行。
第二个并发场景是网站横向扩展场景，在该场景中，您正在运行Th
浏览 1提问于2017-02-15得票数 0
假设您有两个队列，队列A有一些新硬件，队列B有旧硬件。此外，两个队列对于SGE作业具有相同数量的节点和时隙，例如，每个队列有10个插槽。
现在我提交了10份工作。如果两个队列都是空的，并且节点具有相同的负载，我猜其中5个作业将在队列A中运行，5个作业将在队列B中运行。但是，由于B的硬件较旧，这些作业将需要更长的时间才能完成。
是否有办法要求SGE先“填充”队列A中的快速节点，然后“倒转”到旧队列B？我问的都是用户和行政方面的问题。
浏览 0提问于2015-03-06得票数 0
回答已采纳
3回答
我正在启动一个小的“作业管理器”，它将执行一些实现"IJob“方法的”作业“对象。每个IJob都返回一个新作业的潜在列表。
我的所有作业都存储在一个队列中，队列被线程安全地访问，当我完成一个作业时，我会向这个队列中添加新的被查询的作业。
我正在研究如何将它与TPL并行化。
我有几个想法，但由于我的限制，没有一个是有效的，它们是：
我需要限制线程的数量(假设为4)，因为有些请求正在请求一个网站，该网站不允许超过4个同时请求(我认为我可以用信号量来管理这个请求)。
我的作业列表会改变，所以我不能启动4个线程，将作业数量除以线程数，而每个线程运行他的作业堆栈。
也许有时候，如果我
浏览 4提问于2011-04-15得票数 0
回答已采纳
1回答
我一直在本地机器上使用wekaDistributedHadoop1.0.4和wekaDistributedBase1.0.2包来运行一些基本作业。必须填写"HDFS主机“字段才能运行作业。自从我在本地机器上测试以来，我一直在使用"localhost“，它工作得很好。在AWS EMR上运行时，我盲目地尝试使用"localhost“，但作业失败。我想知道的是，我应该在字段中输入什么主机名，以便weka可以调用正确的主机？是启动集群时提供的公共DNS名称，还是API中有为我获取该地址的方法？
浏览 2提问于2014-01-22得票数 1
1回答
我需要一个具有多个任务的作业，一个接一个地(不是同时)在不同的机器上运行，并且当当前作业正在运行时，另一个任务可以到达队列，但在上一个任务完成之前不应该启动。因此，我想出了这个“解决方案”，这可能不是最好的，但它完成了任务:)。我只有一个问题。
我发现我需要一个具有以下结构的JobQueue ( MongoDb或Redis)：
{
hostname: 'host where to execute the task',
running:FALSE,
task: 'current task number',
tasks:{
[task_id:1, comma
浏览 4提问于2014-07-09得票数 0
2回答
并行运行Web作业
、、、
我们有一系列4个服务总线队列，每个队列都有一个处理消息并将其传递到下一个队列的web作业。虽然我们运行在一个单独的核心上，但每个Web作业都是async，并且允许其他作业在查询数据库或端点时继续运行。
我们在MaxConcurrentCalls = 3中设置了ServiceBusConfiguration
但是，现在所有的消息都在最后队列中，它没有旋转最终Web作业的多个实例来更快地处理它们，而是同步执行它们。我想知道如何将我的Web作业配置为并行运行相同的web作业。
我注意到2014年的，它建议我们必须实现自己的并行处理，但最近的文章与此信息相矛盾，称它是支持OOTB的。
浏览 0提问于2018-05-10得票数 0
回答已采纳
我已经建立了一个基于Laravel的系统，在这个系统中，用户可以开始一个重复多次的“任务”，每次重复都会有延迟。完成这一任务的方法是使用amount参数排队作业，然后递归地排队等待额外的作业，直到计数结束。
例如，我以三次重复开始我的任务：
一个作业以3的amount参数排队。它被运行，数量被减少到2。同一作业再次排队，指定的延迟为5秒。
当作业再次运行时，进程重复使用amount为1。
最后一个作业执行，现在amount已经达到0，它不再排队，任务已经完成。
这是工作的预期，但我需要知道一个用户目前是否有任何任务正在处理。我需要能够做到以下几点：
检查特定队列是否有由
浏览 0提问于2018-08-15得票数 1
1回答
我们正在EC2实例上运行一组cron作业。我们在部署中有两个实例A和B。A和B都有在启动时运行的Cron作业。我们希望在启动时在B上禁用cron，直到我们停止服务器A，而在启动A时停止服务器-相反。
有可能以任何方式实现自动化吗？我们能用用户数据来做这个吗？
浏览 0提问于2019-09-30得票数 1
3回答
我有两份不同的工作。
这些作业可以相互独立地启动。
但它们使用的是相同的对象。
并且我希望同时只运行这些作业中的一个。
是否可以将Hudson/Jenkins中的作业配置为在其他作业运行之前不运行？
浏览 2提问于2012-02-09得票数 0
这里是一个场景，我使用Beanstalkd队列将电子邮件发送到一个庞大的电子邮件列表(50000+)，每个电子邮件都必须有一些独特的内容，因此触发的作业循环遍历所有地址，生成内容并发送邮件。
有时，用户可能希望取消发送过程中的操作，因此，例如，当作业正在运行时，在邮件发送到指定20000个地址之后，用户单击“停止”，该“停止”应“删除”作业。
到目前为止，我所做的是设法获得正在运行的作业实例，Queue::Push返回作业ID，所以我将这个ID保存在DB中，当我想要停止作业时，这就是我试图做的。
$phean= Queue::getPheanstalk();
$res = $phean-&g
浏览 1提问于2014-08-03得票数 0
2回答
是否有一种方法可以连续打印多个作业，而不让另一个用户在中间发送打印作业？(“只要我的打印作业还没有完成，就不要给其他用户令牌”)
这是一个共享的打印机，很多用户都可以访问它，而我的printig是一个很大的文档，所以它需要一些时间；我使用一个以上的工作，因为它的页面不能从同一个纸盘上打印，所以我必须在代码中切换纸张源。
救命啊！提前谢谢。
P.S.我在使用.Net的PrintDocument对象
浏览 1提问于2014-04-22得票数 0
回答已采纳
1回答
我一直试图谷歌和搜索堆栈的答案，但一直无法找到。
使用NiFi，是否有可能在以前的作业失败时停止一个进程？
我们有需要处理的用户数据，但是数据是按顺序构造的，这样如果作业失败，我们需要停止进一步的作业运行。
我知道我们可以创建脚本来在以前的进程失败时失败，但是如果我需要整个组在失败时停止，这有可能吗？我们不希望队列中的每个作业都遵循失败路径，我们希望它停止，直到我们能够查看数据并分析故障。
TL;DR -我们能否在失败时停止一个过程，而不仅仅是将所有剩余的作业导入失败流中。我们希望队列中的数据等待修复，从而停止进程，而不是一次又一次地失败。
谢谢你的反馈，干杯！
编辑:打印
浏览 6提问于2017-04-05得票数 3
回答已采纳
2回答
Quartz作业限制
、、、
有一点宽泛的要求：
我有几个石英工作，作为数据收集器，收集来自不同位置的数据，当可用时。然后，我有另一个作业数据加载，它是从收集器作业调用/触发的，以更新我的数据库。
我的需求是如何限制加载作业，使其只有两个实例并行运行，并处理来自收集器作业的工作
收集器作业1,2，...N >加载器作业(两个实例)
作业程序部署在集群Tomcat中。
两个问题: 1)当Loader作业的两个实例已经在运行时，如何让收集器作业等待？有没有办法使用quartz程序来影响元素FIFO逻辑，从而限制Loader作业的工作？我也不希望收集器拾取另一个数据，如果一个数据已经在等待处理。2)有没有办法只运行两个线程
浏览 0提问于2012-11-03得票数 2
2回答
考虑以下情况：
您有一个程序，它创建了许多需要处理的“作业”，并将它们放入队列中。
您有其他员工程序，这些程序可以获取下一个“作业”，这样他们就可以处理该作业了。
每个工作都有一个类别。
可以有任意数量的类别。
两个具有相同类别的作业不能由单独的员工同时处理。
工人一次可以处理一个作业。
在这种情况下，传统队列将无法工作，因为有可能同时处理同一类别的多个作业，这是不允许的。
您可以让工作人员检查它抓取的作业，并查看该作业类别是否有另一个当前正在对其进行处理的工作人员，如果是的话，请将作业重新提交到队列中，以便稍后处理。这似乎是解决这个问题的一种效率低下的方法。是否有任何数据结构或设计模式可以解
浏览 0提问于2016-04-22得票数 10
假设您有一个包含许多作业的队列，该队列从各种来源获得填充。
这些作业会更有效地批量处理，例如一次拉动和处理100个作业。
您将如何在RQ中实现这一点？
您是需要编写一个来一次提取多个作业，还是需要编写一个来在批处理作业发出时进行批处理，或者其他一些方法？
谢谢
浏览 7提问于2020-10-09得票数 0
我有在heroku上运行的sidekiq，它与用户的电子邮件等进行了大量的同步。
有时，我们会收到以下错误：
Error R14 (Memory quota exceeded)
为了应对这个问题，我创建了一个由heroku调度器执行的rake任务。
rake任务重新启动所有dynos，并使用以下代码刷新来自redis的所有sidekiq作业：
Sidekiq.redis { |r| r.flushall }
我有一个新的需求，用户希望调度某些作业在未来运行，如下所示：
DeliverEmail.delay_until(email.send_time).perform_async(email.i
浏览 2提问于2013-11-28得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
