foresightyj 最近的时间轴更新 foresightyj 最近的时间轴更新 |
foresightyjV2EX 第 66117 号会员，加入于 2014-06-25 12:13:08 +08:00 |
foresightyj 最近回复了
2015-10-16 11:42:42 +08:00 回复了 briefcopy 创建的主题 › 编程 › 开发网络爬虫应该怎样选择爬虫框架？ |
写得不错。是原创？
我最了解的是 scrapy ，但是在 windows 下面使用遇到了不少坑（主要是改成使用 FIFODiskQueue 之后，也就是使用持久化的 BFS 而非默认的内存 DFS ）。前几天学习了一下 nutch ，只是试了一下命令行，还没有深入到二次开发。
我最了解的是 scrapy ，但是在 windows 下面使用遇到了不少坑（主要是改成使用 FIFODiskQueue 之后，也就是使用持久化的 BFS 而非默认的内存 DFS ）。前几天学习了一下 nutch ，只是试了一下命令行，还没有深入到二次开发。
Select Language