我知道命名很烂,轻喷,全靠字典直译的! 弄了两个小时才弄出来个 gist 链接,第一次用,凑合看吧
https://gist.github.com/snake1080/817242ef0c0828d7eb3c20692ec2b2c1
1
Buges 2019-07-14 12:14:36 +08:00 via Android
多线程并发
|
2
arrow8899 2019-07-14 12:16:20 +08:00
感觉慢?? debug 下不就知道哪慢了吗
|
3
locoz 2019-07-14 13:00:02 +08:00 via Android
因为发请求的时候没有并发,每一个图片在下载的时候必须要等待上一个图片的下载流程结束
|
4
Raisu 2019-07-14 13:05:54 +08:00
楼主代码太乱了
|
5
Hopetree 2019-07-14 13:07:42 +08:00 via iPhone
IO 密集型用多线程
|
7
cherbim 2019-07-14 15:28:50 +08:00 via iPhone
@snake8090 哈哈哈哈哈,简单看了一下,你的脚本是下完一张图片后才开始下第二张,能不慢么,去看看多线程吧,让他同时多个照片下载
|
9
whoami9894 2019-07-14 15:38:22 +08:00 via Android
有什么好问的,去补基础
|
10
Dart 2019-07-14 19:21:35 +08:00 via Android
小白多进城 即可
|
11
cwjokaka 2019-07-14 19:27:12 +08:00
用多线程,顺便再安利一波我的 https://github.com/cwjokaka/bilibili_member_crawler 里面也用了多线程
|
12
cwjokaka 2019-07-14 19:42:58 +08:00
https://github.com/piglei/one-python-craftsman 再介绍一个别人(大佬)的项目,是关于编码习惯和 python 技巧的。内容很少但很精炼,我也是看完才动手写项目的
|
13
Perterually 2019-07-15 09:15:11 +08:00
2333....一路循环...我看到了我第一次写爬虫时候的风格
|
14
Atukey 2019-07-15 09:28:06 +08:00
只要不怕 IP 被拉黑
多线程 多进程 并发 |
16
txy3000 2019-07-15 13:05:44 +08:00
去看看 asyncio 和 asynchttp
|
17
locoz 2019-07-15 19:00:41 +08:00
@snake8090 刚在我公众号上推了篇文章,讲怎么改你这个代码的,可以看看: https://mp.weixin.qq.com/s/ZDsoEVY0T2GI9E34dkfUZw
|