看很多开发爬虫的都在纠结怎么选择爬虫框架,弄了个博文,就当在扯淡了。
http://blog.csdn.net/ajaxhu/article/details/42122461
1
foresightyj 2015-10-16 11:42:42 +08:00
写得不错。是原创?
我最了解的是 scrapy ,但是在 windows 下面使用遇到了不少坑(主要是改成使用 FIFODiskQueue 之后,也就是使用持久化的 BFS 而非默认的内存 DFS )。前几天学习了一下 nutch ,只是试了一下命令行,还没有深入到二次开发。 |
2
cangbaotu 2018-03-26 15:23:40 +08:00
推荐你试试神箭手云爬虫( http://www.shenjian.io/) 最近很火的一个爬虫开发平台 在线用脚本开发爬虫
|