V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
flyycn
V2EX  ›  Python

celery 自动停止运行怎么解决

  •  
  •   flyycn · 2019-04-22 14:19:12 +08:00 · 3961 次点击
    这是一个创建于 2042 天前的主题,其中的信息可能已经有所发展或是发生改变。

    项目采用了 celery 进行异步操作,但是 celery 运行很多任务后自动停止运行假死,目前我采取的是手动重新启动 celery,有的大神说这是 celery 的 bug,怎么解决? backend 用的是 redis.

    7 条回复    2019-04-29 18:14:20 +08:00
    NaVient
        1
    NaVient  
       2019-04-22 15:31:13 +08:00
    定时重启,这个问题很普遍
    gnozix
        2
    gnozix  
       2019-04-22 15:33:24 +08:00
    你这个`自动停止运行假死` 是个什么哦,我遇到过一个定时任务延迟或长时间执行不了的问题,是队列里的任务阻塞导致的。不知道你的是什么情况。
    NaVient
        3
    NaVient  
       2019-04-22 15:40:13 +08:00
    @NaVient #1 Celery 还提供 CELERYD_FORCE_EXECV = True 这个设置来防止假死,但是然并卵,只是减少次数,但是还是会假死
    rogwan
        4
    rogwan  
       2019-04-22 15:56:39 +08:00 via Android
    你的 celery 开机是怎么启动的?
    jesnridy
        5
    jesnridy  
       2019-04-22 17:53:54 +08:00
    服务器内存使用率是怎样的。看下有没有配置 CELERYD_MAX_TASKS_PER_CHILD ( worker 最多执行多少个任务,超过就销毁),官方默认是不限制的
    hanssx
        6
    hanssx  
       2019-04-25 13:20:30 +08:00
    celery 生产环境用 rmq 好些吧,CELERYD_MAX_TASKS_PER_CHILD 这个参数按照楼上的设置个值试试,或者 celery 版本换成 3.6 的最后一个版本?楼主用的 4.2 ?
    仅供参考
    ziwen1942
        7
    ziwen1942  
       2019-04-29 18:14:20 +08:00
    # celery 的启动工作数量设置
    CELERY_WORKER_CONCURRENCY = 5
    # celery 的 worker 执行多少个任务后进行重启操作
    CELERY_WORKER_MAX_TASKS_PER_CHILD = 200
    这个在配置文件里写清楚,不然塞内存
    核心逻辑:排队等死
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2422 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 15:59 · PVG 23:59 · LAX 07:59 · JFK 10:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.