几百万图片 url 转云存储，有什么好办法

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1503 天前的主题，其中的信息可能已经有所发展或是发生改变。

老实说，是爬虫爬到的链接，对访问频率限制的比较严格。七牛云有直接存网络图片的能力，但看起来比较低级，效果也不行，几十张后就被拦截了。

付费解决方案也可以接受。

七牛云

url

图片

老实说

13 条回复 • 2020-09-27 16:19:19 +08:00

Athrob

2020-09-26 16:26:33 +08:00

挂代理批量下载再上传

nvkou

2020-09-26 16:27:19 +08:00 via Android

该不会是煎蛋吧？

wakzz

2020-09-26 16:27:28 +08:00

搞 ip 代理池

nnd

2020-09-26 16:46:35 +08:00

找几个 IP 代理网站，抓下来，通过代理 IP 去爬。

友情提醒，可能违法，后果自负

gxlonline

2020-09-26 19:39:57 +08:00 via Android

用代理 ip，下一张图换一个 ip 。
有必要时，再换请求头，反爬绝大多数都是通过这些方式。
推荐酷鱼代理 ip，ip 量大，稳定。
https://kuyukuyu.com

zoharSoul

2020-09-26 20:07:29 +08:00

@gxlonline 你是酷鱼的推广?

还是单纯路人?

xchaoinfo

2020-09-26 22:20:41 +08:00 via Android

有时候你加个 host ua 能多爬一会儿

liuxu

2020-09-26 23:34:39 +08:00

@Livid 5 楼推广号，gxlonline

cat

2020-09-27 07:59:57 +08:00 via iPhone

@zoharSoul 看他的回帖记录就知道了

JasperYanky

2020-09-27 09:13:13 +08:00

爬下来给七牛寄硬盘

jowan

2020-09-27 14:00:31 +08:00

@liuxu 点开这个号基本都是回复要用到代理池的话题
代理 IP 不也是解决问题付费方案的一种吗
你这报告打的意义是什么

liuxu

2020-09-27 14:43:02 +08:00

@jowan 打这个报告的意义是为了帮助 Livid 更好的维护 v2ex

Livid

MOD

2020-09-27 16:19:19 +08:00

@liuxu 谢谢举报。那个账号已经被彻底 ban 。