这个产品图片怎么爬下来？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2161 天前的主题，其中的信息可能已经有所发展或是发生改变。

如： https://mall.icbc.com.cn/products/pd_0001381554.jhtml 这个产品左边的 5 个大图。得到图片的链接用浏览器试总会跳转到主页去了。不知道怎么处理？希望能指点一下。

图片

下来

产品

爬

25 条回复 • 2018-12-26 17:03:23 +08:00

python8215

2018-12-26 08:24:18 +08:00

https://image5.mall.icbc.com.cn/oaasImage/10023640/3/1542861223648_3.jpg 测试这个链接是可以直接用浏览器访问的，没有发生跳转的情况

fan2006

2018-12-26 08:28:10 +08:00

如得到
@python8215 这个你在网页源代码那里点击可以打开。但是你得到单独的图片地址就不行了。会发生跳转。

0312birdzhang

2018-12-26 08:30:07 +08:00 via iPhone

加 referer

bruce00

2018-12-26 08:31:12 +08:00

F12→network→doc 里有个 pd_0001381554.jhtml 的文件，里面有你要的大图

https://image5.mall.icbc.com.cn/oaasImage/10023640/3/1542861223648_4.jpg
https://image5.mall.icbc.com.cn/image/10023640/6/1524359020841_4.jpg
https://image5.mall.icbc.com.cn/image/10023640/0/1524359021010_4.jpg
https://image5.mall.icbc.com.cn/image/10023640/4/1524359021168_4.jpg
https://image5.mall.icbc.com.cn/image/10023640/4/1524359627669_4.jpg

bruce00

2018-12-26 08:32:20 +08:00

@bruce00 额。。好像真的会跳转

MrUser

2018-12-26 08:33:59 +08:00

.zoomPup 是你鼠标能点住的那个图片，
它下边有外兄弟.zoomWindow 往下依次找：.zoomWrapper>.zoomWrapperImage>.img
https://image5.mall.icbc.com.cn/oaasImage/10023640/3/1542861223648_4.jpg
https://image5.mall.icbc.com.cn/image/10023640/6/1524359020841_4.jpg
https://image5.mall.icbc.com.cn/image/10023640/0/1524359021010_4.jpg
https://image5.mall.icbc.com.cn/image/10023640/4/1524359021168_4.jpg
https://image5.mall.icbc.com.cn/image/10023640/4/1524359627669_4.jpg

glaucus

2018-12-26 08:38:49 +08:00

把你发出来的这个链接当作 Referer 请求就可以了

MuscleOf2016

2018-12-26 08:41:32 +08:00

@fan2006 没看明白这句话，图片的链接不是.jpg 的吗

masker

2018-12-26 08:44:04 +08:00 via Android

看请求头

fan2006

2018-12-26 08:45:27 +08:00

@bruce00 没发出链接。只发了主地址。。好了，我被 360 浏览器坑了。。用 google 测试下能打开了。。

fan2006

2018-12-26 08:46:07 +08:00

@MrUser 多谢老兄。我知道了。非常感谢

fan2006

2018-12-26 08:46:42 +08:00

@bruce00 别用 360 浏览器测试，我被坑了

a226679594

2018-12-26 08:54:23 +08:00

我怀疑你在发广告手动滑稽

fan2006

2018-12-26 09:00:12 +08:00

@a226679594 真没有。现在是年底，忙着搞数据呢？卖的多也是累死我们这些汇总产品的吧。

tutustream

2018-12-26 09:20:19 +08:00

chrome 没跳转

winterx

2018-12-26 09:38:40 +08:00

我的 Chrome 跳转了

inwl

2018-12-26 09:50:31 +08:00

@winterx 我的 chrome 也跳转了

inwl

2018-12-26 09:53:12 +08:00

@fan2006
@tutustream
图片链接跳转，感觉是后台做了权限控制吧，不跳转的我猜登陆了？

fan2006

2018-12-26 09:55:18 +08:00

@inwl 可能你版本比较老。360 用 63 的内核是跳转的。。

sobigfish

2018-12-26 12:09:15 +08:00

#3 楼那位就给你们正确答案了不知道你们还在瞎猜啥

celeron533

2018-12-26 12:21:48 +08:00

https://image5.mall.icbc.com.cn/image/10023640/4/1524359627669_3.jpg

直接 F12，禁用缓存，抓取网络请求。重新刷新页面就能得到地址。

fan2006

2018-12-26 14:01:55 +08:00

@celeron533 正解。这个是对的。感谢大佬

lanqing

2018-12-26 15:20:54 +08:00

加 referer 就可以了

qooder

2018-12-26 16:45:12 +08:00

想知道为什么会跳转。。。

15399905591

2018-12-26 17:03:23 +08:00

应该是加了防盗链限制，只允许来源 mall.icbc.com.cn 域名的地址访问，你把在 header 中添加一个 referer 属性，标识来源的是该域名就可以了