V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
nan0kai
V2EX  ›  Python

请教一个 Python requests 获取淘宝链接跳转后的真实地址的实现方法

  •  
  •   nan0kai · 2017-06-07 23:43:13 +08:00 · 3224 次点击
    这是一个创建于 2727 天前的主题,其中的信息可能已经有所发展或是发生改变。

    链接地址如

    https://s.click.taobao.com/WRoeUkw 
    

    跳转成功的 URL 是

    https://item.taobao.com/item.htm?id=548674077854&ali_trackid=2:mm_16389311_20848374_70766594:1496849954_2k8_1774242087&pvid=19_183.204.96.103_711_1495772079051
    

    请问,如果用 requests 或者是 pyspider 得到后面的地址,最好有分析思路.

    学习爬虫小白,感谢指导。

    第 1 条附言  ·  2017-06-08 12:47:35 +08:00
    感谢三位的热心回复,按二楼 @wanglaihuai 提供的思路方法 只能得到第一次跳转后的链接,截图如下

    http://i1.piimg.com/4297/befaefcde74e0dae.jpg 怎样获取第二次跳转的 url

    同样很感谢 @linkiosk 的回复。
    第 2 条附言  ·  2017-06-08 13:02:16 +08:00

    上图似乎挂了,补充图片

    第二次requests.get(url).url 获取不到想要的链接地址

    3 条回复    2017-06-08 07:09:01 +08:00
    misaka19000
        1
    misaka19000  
       2017-06-07 23:52:43 +08:00   ❤️ 1


    做了几次重定向而已,检测到状态码是 302 就把 location 参数提取出来作为新的请求链接
    wanglaihuai
        2
    wanglaihuai  
       2017-06-08 01:21:51 +08:00 via Android   ❤️ 1
    requests.get(url).url 就是跳转的地址了。
    linkiosk
        3
    linkiosk  
       2017-06-08 07:09:01 +08:00 via iPhone   ❤️ 1
    二楼正解
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5968 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 03:25 · PVG 11:25 · LAX 19:25 · JFK 22:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.