V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
kice
V2EX  ›  Python

求分布式任务队列库推荐

  •  
  •   kice · 2023-08-27 22:42:12 +08:00 via Android · 2201 次点击
    这是一个创建于 452 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Celery

    Dramatiq

    taskiq

    samuelcolvin / arq

    不知道 dalao 们还有其他无推荐的?或者说一下什么情况下,应该要自己写一个。

    8 条回复    2023-10-23 16:24:45 +08:00
    GoLand
        1
    GoLand  
       2023-08-27 23:29:04 +08:00   ❤️ 1
    选 celery 就可以了,不用纠结。经过时间考验的,生态也够。
    masterclock
        2
    masterclock  
       2023-08-28 08:37:53 +08:00
    对照实际需求,考虑 temporal 看看?
    kuituosi
        3
    kuituosi  
       2023-08-28 09:28:57 +08:00
    开源的大部分有 bug 一堆,我有成熟可靠企业级自研产品,如需购买可报价
    Maerd
        4
    Maerd  
       2023-08-28 11:20:40 +08:00
    还有 rq huey 这类的,国人开发的有 funboost ,支持的中间件差不多三十多个,性能也比上面的好很多,群里提 bug 基本上很快就发版回来给你解决了
    chenzi0103
        5
    chenzi0103  
       2023-08-28 14:28:19 +08:00
    可以试一下以下两个:
    1 ,Airflow, 你可以设置多个任务在一个 dag 中,然后使用 celery 来做执行器
    2 ,Ray, 一个超级好用的分布式执行框架,简单上手难度低 ,配上 hydra 有奇效
    ohayoo
        6
    ohayoo  
       2023-08-29 11:48:55 +08:00
    taskiq 和 repid 我愣是没学会怎么用
    akaHenry
        7
    akaHenry  
       2023-09-06 10:32:35 +08:00
    1. 如果只会 python or 小项目, 那就 celery + rabbitmq.

    2. 如果不局限 python 生态内. 更推荐 nats 和 kafka. (尽早使用跨语言通用的中间件, 迁移时, 少扔代码)
    hanssx
        8
    hanssx  
       2023-10-23 16:24:45 +08:00
    celery 现在什么版本了,之前 4.x 5.x 的错误 bug 一大堆,N 多没解决的,推荐 Dramatiq
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2792 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 12:56 · PVG 20:56 · LAX 04:56 · JFK 07:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.