ssllff123 最近的时间轴更新
ssllff123

ssllff123

V2EX 第 155553 号会员,加入于 2016-01-15 12:17:25 +08:00
知乎免登录谷歌插件
分享创造  •  ssllff123  •  2020-12-05 09:58:23 AM  •  最后回复来自 abcd191898105
5
celery+rabbitmq ,为什么不是在 celery 队列里面存
问与答  •  ssllff123  •  2016-11-28 13:27:11 PM  •  最后回复来自 ssllff123
3
scrapy 如何多开
问与答  •  ssllff123  •  2016-09-12 19:05:31 PM  •  最后回复来自 ssllff123
6
ssllff123 最近回复了
2016-11-28 13:27:11 +08:00
回复了 ssllff123 创建的主题 问与答 celery+rabbitmq ,为什么不是在 celery 队列里面存
我已经解决了,如果用 celery , backend 不要用 rabbitmq ,因为, celery 会自动给每个任务的结果建立一个队列,所以队列越来越多,越来越多。

celery 确实不是队列,可能我的问题没有描述清楚。
2016-10-17 09:26:27 +08:00
回复了 dongweiming 创建的主题 推广 赠送几本《Python Web 开发实战》
54 祝股票顺利
2016-10-10 14:56:50 +08:00
回复了 xdeng 创建的主题 程序员 你们都用什么来做爬虫的
@for4 我和你想的一样,但是有些问题
1 ,是不是 celery 就可以自动多线程了。任务只需要实现爬虫的功能就可以了。
2 ,感觉并不快啊 。
3 ,可否有写好的项目看看
2016-09-12 19:05:31 +08:00
回复了 ssllff123 创建的主题 问与答 scrapy 如何多开
好吧 。发现多开并没有提高多少效率。现在能提高效率的应该就是 redis 了。
2016-09-09 09:37:11 +08:00
回复了 wangleineo 创建的主题 问与答 怎样设计一个分布式的爬虫服务?
@knightdf scrapy 实现了这个功能。 scrapy-redis 但是我正在学习中
2016-09-09 09:17:53 +08:00
回复了 oceantree 创建的主题 分享发现 手把手爬虫教你写爬虫---电商爬虫、互联网金融爬虫
@oceantree 能不能请教怎么处理的 js 啊
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   966 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 21:09 · PVG 05:09 · LAX 13:09 · JFK 16:09
Developed with CodeLauncher
♥ Do have faith in what you're doing.