当遇到键盘中断(比如SIGINT)时，有没有办法在退出celery worker之前执行一些操作？我尝试在我的任务中使用signals模块，如下所示：但它并不像我期望的那样工作。keyboard_interrupt_handler确实会被执行，但由于它需要几秒钟的时间才能执行，所以进程在完成执行
浏览 22提问于2020-03-03得票数 1
回答已采纳
1回答
调度器Fargate机器也在运行芹菜执行器。问题
假设单任务DAG的执行。任务在另一个AWS服务上执行，即EMR (EmrAddStepsOperator)。EmrAddStepsOperator是
浏览 4提问于2021-11-29得票数 1
回答已采纳
我们有芹菜执行者的气流部署。
我们的许多DAG需要对BashOperator或PythonOperator中的某个文件执行本地处理步骤。但是，根据我们的理解，给定DAG的任务可能并不总是调度在同一台机器上。这种方法减少了任务的模块化，需要复制现有操作符的代码。使用芹菜队列将DAG路由到同一个工作线程( worker，)--这个选项一开始似乎很有吸引力，但是为了避免将所有东西路由到一个执行者或创建一个百万队列，如何设置它呢？在所有运行执行器的机器上使用共
浏览 0提问于2018-02-12得票数 15
2回答
芹菜心跳不起作用
、、、
我在芹菜环境中设定了心跳：我还在RabbitMQ配置中设置了此配置值：但不知何故，心跳仍然是残缺的：
看来，那些被妖魔化的芹菜工人发出的心跳是正确的。由于某些原因，使用芹菜远程处理任务的RESTful API服务器没有使用心跳。
浏览 1提问于2014-01-06得票数 6
1回答
我有一个芹菜周期任务，但任务只有当我运行芹菜工人或我运行芹菜节拍。我已经将任务配置为每20分钟在django settings.py文件中运行一次，但在20分钟后检查之后，芹菜工人没有收到任何任务。芹菜节拍控制台__ - ... __ - _
LocalTime -> 2020-07-当我退出这个节拍并再次重新启动时
浏览 0提问于2020-07-14得票数 3
1回答
一年来，我一直在使用气流( Composer)，我很难弄清楚(芹菜)工人在接受任务执行时是如何执行哪些操作的。dependencies.If 我们在/dags文件夹中放置了一些DAG。调度器通过循环进程解析DAG并将结果保存到元数据DB中，它还确定来自DAG的任务是否必须基于它的/dags运行--某些任务必须运行，执行器将任务发送到一个队列中，由芹菜工人监听。<em
浏览 2提问于2021-06-30得票数 0
考虑一下守则：from time import time
def test_task(i): return i
print(x.get())
我通过调用python scri
浏览 2提问于2017-02-03得票数 0
回答已采纳
1回答
气流1.9 -任务卡在队列中
、、、、
来自PyPy的最新Apache气流安装(1.9.0)
我有一个简单的DAG，它执行每我可以看到调度程序“队列”--然而，它会被添加到一个芹菜&#
浏览 1提问于2018-05-21得票数 0
1回答
我使用Django运行芹菜来执行一些长时间的后台任务。在某些情况下，工人可能会死，因为某种原因，我还不知道。在我找到根本原因之前，我希望有一个监视器/看门狗，这样工人就可以在被发现死亡后重新启动。
浏览 1提问于2015-04-14得票数 0
1回答
这可能是一个蹩脚的问题，但我真的对这两个问题感到困惑。我知道，当发生了一些事情时，signals习惯于做一些工作。但是芹菜呢？文件中说：
有人能给我解释一下芹菜是什么吗？这两者有什么区别，什么时候使用？我会很感激的！谢谢。
浏览 1提问于2013-11-29得票数 11
回答已采纳
一旦一个工人完成了一个网站的爬行，网站就会回到排队等待一个工人可以启动刮伤，等等。问题是，小网站将比大型网站更多的爬行次数，我希望所有的网站被爬行的时间相同。我正在考虑使用RabbitMQ进行队列管理，并对一些网站进行排序。但是当我搜索RabbitMQ时，它经常和芹菜一起使用。我对这些工具的理解是，芹菜将允许根据时间表启动一些代码，RabbitMQ将使用消息和队列来定义执行顺序。
在我的例子中，我不知道只使用没有<e
浏览 2提问于2015-08-05得票数 2
回答已采纳
2回答
芹菜:了解全局
、、、
芹菜似乎是一个很好的工具，但我很难理解各种芹菜成分是如何协同工作的：
celery -A not-clear-what-this-option-isworkerapp = Celery('my_modu
浏览 3提问于2017-03-07得票数 4
1回答
我使用的是气流(Astronomer.io部署)，这个DAG代码是在芹菜部署上的。这段代码最后会有芹菜工人循环，直到有日志消息“成功执行MSSQL查询”的步骤超时为止。
似乎列表理解在超过200万行时表现不佳。我是比较新的列表理解，所以我正在寻找一种方法来优化这一点，以便不必使用这么多的资源(RAM)在我
浏览 3提问于2020-12-17得票数 0
回答已采纳
1回答
技术栈:芹菜5.0.5，烧瓶，蟒蛇，Windows操作系统(8 CPU)。这基本上启动了一个新的芹菜工人和一个新的队列因此，在测试我的代码时，我发现当我的第9个工作人员被生成时，我假设它会等待前面8个工作人员中的任何一个完成执行
浏览 1提问于2022-02-08得票数 0
1回答
我有我的API，一些端点需要将请求转发到芹菜。其思想是拥有特定的API服务，它基本上只实例化芹菜客户端并使用send_task()方法，并分离使用任务的服务(工作者)。基本分离芹菜应用程序(API)和芹菜工人两个不同的服务。我不希望我的API知道任何芹菜任务的定义，端点只需要使用celery_client.send_task('some_task', (some_arguments))。因此，在一个服务上，我有我的API，在
浏览 12提问于2022-09-16得票数 1
回答已采纳
1回答
我正在使用python制作一个非常基本的命令行实用程序，我试图设置它，使用户能够在使用Ctrl+C执行过程中中断任何正在运行的操作，并通过使用Ctrl+Z发送EOF来退出程序。然而，在最后一天，我一直在与这个令人沮丧的问题作斗争，在取消使用KeyboardInterrupt运行的操作之后，按Ctrl+C第二次发送一个EOFError而不是KeyboardInterrupt，这将导致程序退出:
浏览 0提问于2019-08-30得票数 7
回答已采纳
我在Kubernetes吊舱上部署了一个芹菜工人，它执行一个任务( CPU不是很密集，但由于一些HTTP调用需要一些时间来完成)。有什么方法可以根据任务队列中的任务数量自动对K8s中的豆荚进行自动缩放吗？
浏览 6提问于2019-09-23得票数 6
回答已采纳
2回答
用户做一些事情，而不是等待昂贵的任务执行，他们可以转到站点的另一个部分。Celery通过使用redis或其他消息代理来实现这一点。它创建一个队列，然后工作人员执行队列中的任务。我正在尝试使用它来减少api调用对用户体验的影响。
当我将其部署到生产中时，我非常困惑于芹菜的所有东西“生活”在哪里。我已经看到一些帖子说我可以通过管理页面对芹菜做任何我想做的事情，还有一些帖子有一个启动芹菜的主管文件。关于通过管理页面管理芹菜
浏览 11提问于2017-07-14得票数 0
我正在开发一个Django应用程序，它使用芹菜异步运行一些任务。我尝试使用Apache执行负载测试和检查响应时间。从结果中我可以看出，没有芹菜异步任务，响应时间更快。我在用：
Django中的芹菜配置settings.pyapi_obj.search_customer() # this makes an API call to
浏览 0提问于2019-04-02得票数 4
回答已采纳
我希望在芹菜任务执行之前运行一个函数，以及在任务完成后运行一个函数。但是，我只想对特定的任务执行此操作。因此，我不认为 task_prerun会为我工作？在特定的芹菜任务之前和之后运行函数的正确方法是什么？
浏览 2提问于2021-06-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
