推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2381 天前的主题，其中的信息可能已经有所发展或是发生改变。
RT，现在鄙人有两个需求：
1.设置 scrapy 的每个站的最大爬行时间。
由于最近需要批量采集一些网站，然后部分网站可能是论坛和博客之类的.
我这边如果没法预判网站类型的话，希望在 1-2 小时候把超时的网站直接 ban 掉。
但谷歌了下并没有看见 setting.py 里有解决方案。
2.条件触发放弃爬行某个目录
在爬行的时候，可能会遇到多重目录，比如日期+随机码，案例如下：
http://test.com/mua/213213/123213.shtml
针对这类我已经设置了去重算法，但是无奈一旦爬到那个目录，他会一直爬下去。
就算立即抛弃已经爬到的目录也会耽误很久。
所以想问问各位大佬，比如有没有到了某个频率触发条件，可以直接放弃 mua 目录下的爬行任务的法子？
同样没有谷歌到解决方案。
 |
1
akmonde OP 没人么...v 站的大佬们可以给点建议么？
|
Select Language