推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3172 天前的主题，其中的信息可能已经有所发展或是发生改变。
地址 ： https://github.com/daxia4444/djangospider
提供了 3 种抓取页面的方式：
（ 1 ）多线程下载。
（ 2 ） tornado 异步下载
（ 3 ） twisted 异步下载
只是一个雏型。希望以后能改进，这是个轻型的框架，代码非常少，可以很容易明白异步抓取和多线程抓取的方式，让后 custom 你自己的需求。
提供了 3 种抓取页面的方式：
（ 1 ）多线程下载。
（ 2 ） tornado 异步下载
（ 3 ） twisted 异步下载
只是一个雏型。希望以后能改进，这是个轻型的框架，代码非常少，可以很容易明白异步抓取和多线程抓取的方式，让后 custom 你自己的需求。
 |
1
edwardlol 2016-02-29 13:14:18 +08:00
...it has a few code
you can easily understand how to use ... |
 |
2
gaotongfei 2016-02-29 13:35:43 +08:00
@edwardlol 我也想吐槽这句话的。。。
|
 |
3
shakespaces 2016-02-29 21:24:23 +08:00
已 star
|
 |
4
alexbaba OP 不好意思，目前还有很多地方需要修改，希望有 hack 来一起完善这个框架，以后会加入分布式的功能，目前打算用 Django 的 Molde 作为数据库接口。打算用虚拟机启动几个 ubuntu 来作为 exmaple 分布式。
|
Select Language