首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX
›
noobpythoner
›
全部回复第 1 页 / 共 1 页
回复总数
2
2017-06-08 13:02:53 +08:00
回复了
gap
创建的主题
›
Python
›
Python 程序员的是被称为 Pythonista 吗?还是 Pythoner?
oh,糟了
2017-06-08 12:52:23 +08:00
回复了
Yingruoyuan
创建的主题
›
Python
›
scrapy 下载图片到 4w 张左右总是会卡住
可以使用 scrapy_redis 来完成,所有的去重都是通过 redis 来完成的,还能够做到状态保持,如果需要可以实现分布式,redis 的内容类似下面,
redis > keys *
1) "***:dupefilter"
2) "***:items"
3) "***:requests"
或者可以迭代的读取数据库的内容,下一次请求之前从内存中删除上一次的请求地址,类似
https://www.ibm.com/developerworks/cn/xml/x-hiperfparse/
这个方法我自己没有试过,但是应该是可行的
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
5342 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms ·
UTC 09:23
·
PVG 17:23
·
LAX 01:23
·
JFK 04:23
Developed with
CodeLauncher
♥ Do have faith in what you're doing.