请问 Celery 这样的任务定时执行的东西准时吗，会有延迟吗

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3545 天前的主题，其中的信息可能已经有所发展或是发生改变。

假设服务器时间是正确的，并且服务器也不会出现死机等意外情况，那么如果给Celery添加10000个任务，这10000个任务并非在同一秒执行，而是分部在一天内，那么这10000个任务都会按时执行吗。会不会比设定的时间晚几秒，

如果任务数量是10w呢， 100w呢

请大家指点下下

谢谢

Celery

任务

服务器

7 条回复 • 2015-03-06 14:25:00 +08:00

Catstyle

2015-03-06 00:12:01 +08:00

任务并发多于worker数基本都会排队
话说比设定时间有偏差--几秒的范围内--什么任务会不能忍受？

binux

2015-03-06 00:32:22 +08:00

除非实时系统，没有什么保证程序能准时执行的。

cevincheung

2015-03-06 00:41:07 +08:00

多机呗

dongweiming

2015-03-06 11:25:11 +08:00

100w级别/天, 让消费能力高到不让队列里面有等待处理的任务还算容易.

但是误差在这里:

1. 你的beat默认间隔是2s.
2. worker loop去队列拿任务的间隔1~10.1s(一般是1-2s, 这个结果一般取决于你的任务执行的繁忙和失败重试的影响)

so. 理论上最大的延迟可以达到12.1s

还是看你的系统的健康程度, 但是说实话....

9xrtp7r1

2015-03-06 14:24:37 +08:00

@Catstyle 非常感谢

9xrtp7r1

2015-03-06 14:24:46 +08:00

@binux
@cevincheung 谢谢

9xrtp7r1

2015-03-06 14:25:00 +08:00

@dongweiming 非常感谢您