V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  ssllff123  ›  全部回复第 1 页 / 共 1 页
回复总数  6
2016-11-28 13:27:11 +08:00
回复了 ssllff123 创建的主题 问与答 celery+rabbitmq ,为什么不是在 celery 队列里面存
我已经解决了,如果用 celery , backend 不要用 rabbitmq ,因为, celery 会自动给每个任务的结果建立一个队列,所以队列越来越多,越来越多。

celery 确实不是队列,可能我的问题没有描述清楚。
2016-10-17 09:26:27 +08:00
回复了 dongweiming 创建的主题 推广 赠送几本《Python Web 开发实战》
54 祝股票顺利
2016-10-10 14:56:50 +08:00
回复了 xdeng 创建的主题 程序员 你们都用什么来做爬虫的
@for4 我和你想的一样,但是有些问题
1 ,是不是 celery 就可以自动多线程了。任务只需要实现爬虫的功能就可以了。
2 ,感觉并不快啊 。
3 ,可否有写好的项目看看
2016-09-12 19:05:31 +08:00
回复了 ssllff123 创建的主题 问与答 scrapy 如何多开
好吧 。发现多开并没有提高多少效率。现在能提高效率的应该就是 redis 了。
2016-09-09 09:37:11 +08:00
回复了 wangleineo 创建的主题 问与答 怎样设计一个分布式的爬虫服务?
@knightdf scrapy 实现了这个功能。 scrapy-redis 但是我正在学习中
2016-09-09 09:17:53 +08:00
回复了 oceantree 创建的主题 分享发现 手把手爬虫教你写爬虫---电商爬虫、互联网金融爬虫
@oceantree 能不能请教怎么处理的 js 啊
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2844 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 19ms · UTC 02:11 · PVG 10:11 · LAX 18:11 · JFK 21:11
Developed with CodeLauncher
♥ Do have faith in what you're doing.