我们使用gevent运行Celery，虽然开始时内存消耗很大，但随着时间的推移，内存使用量会增加。假设我们不能追踪内存膨胀或泄漏的原因，有没有控制内存使用的好方法？当在prefork上运行时，我们使用了--max-tasks-per-child和--max-memory-per-child，但它们似乎与gevent不兼容(Celery</
浏览 39提问于2020-08-06得票数 0
1回答
我们有8 Core，16 GB内存，Linux服务器运行芹菜，它运行芹菜工作队列myQueue，并在gevent池下运行1000个并发。在执行任务约1小时后，员工突然结冰，它不接受来自celery beat的新任务，这是我们的芹菜配置。CELERY_IGNORE_RESULT = True CELERYBEAT_SC
浏览 12提问于2015-02-24得票数 4
1回答
我在windows上运行celery 4.1.1，并将请求发送到Redis (在ubuntu上)，Redis已正确连接并从windows端进行了测试。但是当我运行这个命令时我得到了这个长错误：. accounts.tasks.myprinting. acmetelbi.celery.debug_task
[2019-08-02 11:46:44,515: CRIT
浏览 18提问于2019-08-02得票数 1
回答已采纳
4回答
关于这一点，我想在过程中运行芹菜的工作人员，因为在Python中，这些都是普遍的并行性。
但是，我也想在我的任务中使用gevent，这样我就可以有一个任务产生许多HTTP请求，等等。它开始了，但没有任何任务可以有效地排队--它们似乎是交给经纪人的，但是芹菜工人不收集和处理它们。只有开始和等待。如果我删除这些行并在没有任何gevent和并行化的情况下执行任务，那么一切都可以工作。我认为这可能是因为gevent补丁也是线程化的</
浏览 29提问于2012-11-02得票数 34
回答已采纳
2回答
任务接收但不执行
、、
我面临的问题是任务正在接收，但它们不能执行。settings.py： # Celery application definitionCELERY_RESULT_BACKEND'CELERY_TIMEZONE = 'Asia/Tehran&#
浏览 18提问于2020-06-23得票数 2
回答已采纳
1回答
什么控制芹菜工人线？
、、、
我有一个芹菜工人过程，是从这个命令开始的：--pidfile="/var/run/xyz/%n.pid"我有一些任务对于gevent并发是安全的，但对于OS线程则不安全，而且我看到一个间歇性错误
浏览 0提问于2019-03-14得票数 2
回答已采纳
2回答
我为Django创建了一个名为crawl.py的自定义管理命令 image.tags.add(tag)
print("end page")
magdelein
浏览 4提问于2015-10-01得票数 1
我正在尝试使用运行芹菜，并希望使用执行以下命令。celery worker --app=worker.app --pool=gevent --queues=queue1,queue2 --concurrency=20 -- loglevel=INFO传统上，我会做这样的事
[celery, worker, --app=worker.app, --pool=gevent, --concurrency=20, --queues=queue1, --loglevel=IN
浏览 3提问于2020-03-19得票数 1
回答已采纳
1回答
龙卷风/扭伤-芹菜-葡萄比较
、、、、
我现在就是这样理解这些差异的：
Tornado/Twisted使用由I/O循环控制的异步代码。这允许在单个线程上运行代码(多个线程是无用的，因为如果您有非阻塞代码，这是不必要的)。Celery使用基于任务的系统异步运行代码，代码本身仍然是同步的。存在一个能够在不同流程上的其他工作人员之间分配不同任务的主要过程。Ge
浏览 3提问于2013-06-15得票数 22
回答已采纳
1回答
用Django开始跑芹菜
、、、、
我正在使用Django 1.11和Celery 4.0.2。我们使用的是PaaS (OpenShift 3)，它运行在kubernetes -码头上。我使用的是一个Python映像，它只知道如何在start上运行一个命令(如果失败，遵循退出代码-重新启动)，
如何在运行celery worker的同时运行Django，以确保其中一个进程的失败会杀死两个进程(wor
浏览 3提问于2017-04-15得票数 0
1回答
一个月后未能执行芹菜任务
、、、、
我的程序每天运行特定的任务，这些任务由django-celery-beat.设置最近，我注意到任务没有执行，所有更改都是通过重置supervisorctl.配置的芹菜服务来完成的。command=/opt/taskjo/taskjo-venv/bin/celery -A taskjo worker --pool=gevent --autoscale 4,2 -B -l info--s
浏览 18提问于2022-09-05得票数 0
= 'black_hole'来强制执行显式路由，然后从不从black_hole消费。这些任务中的每一个都可以使用celery的canvas原语，如下所示：def process_order_for_product_x(order_id、celery.chord、celery.chord_unlock和其他canvas任务的特定用途流经相应产品的队列，而不是被困在b
浏览 0提问于2013-06-25得票数 3
回答已采纳
2回答
有一个外部API服务器，它通过RPC在单独的线程中调用socketio服务器。RPC调用的方法创建了一个芹菜任务，当使用该任务时，它会调用一个调用socketio.emit()的方法。我的直觉告诉我，当Celery worker在一个单独的进程中运行时，被调用的socketio.emit()方法不会发送到连接的客户机，尽管这些对象存在于内存中的相同位置。服务器正在运行gev
浏览 1提问于2014-08-17得票数 7
场景是使用RMDB id作为参数保存API请求的响应。我想获取从imdv-id tt0000001到tt9999999的所有电影信息。现在我使用gevent来运行多个线程(gevent.joinall(线程))，速度不是很快。对于这类问题，有没有其他的解决方案，比如使用Celery+RabbitMQ？
浏览 2提问于2012-09-14得票数 0
2回答
我有一些蜘蛛下载页面和存储在数据库中的数据。我已经创建了带有管理面板的flask应用程序(通过Flask-Admin扩展)来显示数据库。现在我想给我的flask应用添加一个控制爬虫状态的函数:打开/关闭。选择哪种方法来实现此函数？
浏览 0提问于2012-06-04得票数 1
回答已采纳
10回答
我正在尝试找到一些关于如何在远程机器上的celery进程中启用PyCharm调试的说明。远程机器运行的是Ubuntu 14.04。
我运行的是PyCharm 4.x。我看过一些其他信息，暗示其他人有它的工作，但还没有能够找到任何适当的说明。
浏览 5提问于2015-03-28得票数 37
1回答
事件循环在芹菜工人中关闭。
、、、、
我正面临多个问题，使用异步ODM在我的芹菜工人，首先，我无法插入我的数据库模型使用芹菜工人信号，我使用beanie的db连接。(**kwargs): async_to_sync(db_session)()
logger.info('FINISHED : Startup celery worker process&#x
浏览 16提问于2022-10-13得票数 3
回答已采纳
1回答
经过了相当多的尝试和错误，并一步一步地试图找到解决方案，我认为我分享这里的问题，并自己回答他们，根据我的发现。在任何地方都没有太多的文档，除了一些零碎的东西，这有望在将来帮助到其他人。这主要是关于以下错误以及由此产生的进一步影响：
无法连接到redis://.第一个错误发生在您尝试在App上运行芹菜命令celery -A your_app worker -
浏览 3提问于2021-11-26得票数 2
回答已采纳
2回答
对金字塔使用gevent
、、、
我正在建立一个使用金字塔的网站，我想从其他网站获取一些数据。因为可能会有urlopen的50+调用，所以我想使用gevent来加快速度。下面是我到目前为止使用gevent得到的结果：from gevent import monkey; monkey.patch_all() response.close()
def load_pages(urls)
浏览 4提问于2013-01-12得票数 1
回答已采纳
1回答
我们用的是celery==3.1.20我们已经编写了一个CustomDataBaseScheduler来调度任务，它可以很好地按时安排任务我们以init脚本的形式运行CeleryBeat进程，但celeryBeat在一天内消耗了系统的全部内存，即24 in。我试着在celery节拍进程上运行pmap，但是它显示anon占用了
浏览 2提问于2017-07-28得票数 11
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
