我用 scrapy 和代理池爬拉勾网,中间没有报错,但是每次运行代码都只是爬一两万条数据就结束,下次运行又有新的数据,为什么不会一次性爬完所有数据呢?
望大神们指点,谢谢!
1
littleylv 2017-05-18 11:43:55 +08:00
是不是限制了深度了呢?
|
3
dsg001 2017-05-18 14:35:19 +08:00
深层的模板有变化导致规则抓取不到,检查下最终页的模板是否匹配规则
|