用过两者的朋友吗? 说说具体咋样
要做选型
1
ldbC5uTBj11yaeh5 2017-06-29 19:15:33 +08:00 via Android
现在还有用 pysipder 的吗?
|
2
wolffn 2017-06-29 19:18:47 +08:00
lz 爬虫规模大吗,不大的话,说真心话,上 node 吧
|
4
EricCartman 2017-06-29 20:04:09 +08:00 via Android
@wolffn 不大 Python 更方便吧
|
5
golmic 2017-06-29 20:15:04 +08:00
感觉 pyspider 在任务调度方面比 scrapy 做的好一些,但是个人还是喜欢可控的 scrapy.像 pyspider 出错不容易查问题并且一旦进入 pause 状态就 10 分钟不能动这是不能忍的。
|
7
xrlin 2017-06-29 20:36:34 +08:00
两者都用过,但只是做自己的小项目,都是很好的框架,但比较喜欢 scrapy,目录结构好,做图片等资源采集不错,pyspider 编辑起来不太方便,但任务调度比 scrapy 方便很多,可以很方便进行定时、增量爬取。
|
8
binux 2017-06-29 20:45:47 +08:00 3
谢邀 :P
pyspider 本来就是为了解决 scrapy 不好解决的问题设计的。但是作为框架本身的成熟度来说,和 scrapy 比还是有差距的。 https://stackoverflow.com/questions/27243246/can-scrapy-be-replaced-by-pyspider https://www.quora.com/How-does-pyspider-compare-to-scrapy |
9
bfbd 2017-06-29 22:33:28 +08:00 1
|