V2EX › fushshanpupil 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

81 天前

@xiang578 随便写了一版，比较粗糙

334 天前

@qicaisedeyun 不多，16 年到现在就 37 次

2019-11-20 10:12:44 +08:00

上海电信，版本 78.0.3904.108 （正式版本）（ 64 位）
无法复现

2018-01-22 17:34:26 +08:00

@swulling 最新调试结果，最后发现还是由于坑爹的 GIL+threading 库，导致我程序实际上是 IO 密集了，改用 multiprocessing 就跟爬的时候一样 70 个每秒了。

另外感谢各位，提供了很多其他思路，确实还有改进的地方。

2018-01-22 15:02:15 +08:00

@swulling 对顺序没要求，每个网页都有个 id 的，用 id 选的，我参考下 sqlite blob

2018-01-22 15:01:31 +08:00

@rrfeng 提取数据的逻辑随时可能变，不可能每次都再去请求的吧，肯定得保存下来

2018-01-22 14:59:52 +08:00

@em70 怪不得，scrapy 的 cache 就是取 hash 后的前两位创建了一层目录

2018-01-22 14:59:01 +08:00

@ovear 确实全扔一个文件夹下了。。