用 celery+rabbitmq 写爬虫。
用的默认的队列设置,也就是没有配置队列,按照文档的说法,应该是存在 celery 的队列里面。但是实际的结果并不是这样。
好像每个任务存在一个队列里面,队列数量在不停地增加。 这里是队列的信息。
所以,这样的问题是,随着队列的变大,程序变得越来越慢, celery 在心跳检测连接队列的时间越来越长。 segmentfault 地址,这里不知道怎么贴图片 https://segmentfault.com/q/1010000007606923
1
julyclyde 2016-11-26 16:56:16 +08:00
按什么软件的默认?按什么文档的说法?
celery 本来就不是队列,就没有保存任何内容的功能 |
2
20150517 2016-11-26 19:45:20 +08:00
我用过 celery+redis,队列当然是存在 redis 之类的,celery 只是代码,又不能存储,你是这意思吗
|
3
ssllff123 OP 我已经解决了,如果用 celery , backend 不要用 rabbitmq ,因为, celery 会自动给每个任务的结果建立一个队列,所以队列越来越多,越来越多。
celery 确实不是队列,可能我的问题没有描述清楚。 |