前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Celery 4.3.0 在task中执行多线程任务

Celery 4.3.0 在task中执行多线程任务

作者头像
Devops海洋的渔夫
发布2019-09-24 16:12:23
2.4K0
发布2019-09-24 16:12:23
举报
文章被收录于专栏:Devops专栏

测试Celery任务能否使用多线程

在开发的调试过程中,发现如果在django项目里面或者celery的task中使用协程gevent的话,使用monkey补丁的时候会报错。

那么尝试了很久,发现在celery中是可以执行多线程的,下面来演示一下执行的示例。

编写使用多线程的task

代码语言:javascript
复制
import threading
from time import sleep,ctime

def smoke():
    for i in range(3):
        print("smoke...%d"%i)
        sleep(10)

def drunk():
    for i in range(3):
        print("drink...%d"%i)
        sleep(10)


@celery_app.task
def test_use_thread():
    print('---开始---:%s' % ctime())

    t1 = threading.Thread(target=smoke)
    t2 = threading.Thread(target=drunk)

    t1.start()
    t2.start()

    while True:
        length = len(threading.enumerate())
        print("当前运行的线程数为:%d" % length)
        if length <= 1:
            break

        sleep(0.5)

    # sleep(5) #
    print('---结束---:%s' % ctime())

启动celery服务

celery -A celery_tasks worker -l info -P eventlet

在django项目的交互模式下执行多线程的task任务

代码语言:javascript
复制
In [1]: from celery_tasks.tasks import test_use_thread

In [2]: test_use_thread.delay()
Out[2]: <AsyncResult: 69bba7b0-3808-47f1-ad36-2fea75930901>

查看celery中的执行打印情况

可以看到任务顺利并发执行,也就是Celery虽然自身已经是异步任务,还是可以继续在task中使用多线程的。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019.09.23 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 测试Celery任务能否使用多线程
    • 编写使用多线程的task
    • 启动celery服务
    • 在django项目的交互模式下执行多线程的task任务
    • 查看celery中的执行打印情况
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档