请教一个关于爬虫的思路

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 955 天前的主题，其中的信息可能已经有所发展或是发生改变。

我想采集 app 里面的图片，这个 app 是类似一个机器人通过按钮点击就直接返回一张图片，但是这个图片地址每天都会更新一次，这种情况有什么好的解决办法

图片 url 示例:http://xxxxx.com/spic_data/20220405/7EB2D469A634CAAD683B7334E2D387A5.jpg

图片

App

钮点击

url

10 条回复 • 2022-04-14 12:07:01 +08:00

4rfv5tgb

2022-04-05 21:44:39 +08:00

简单点可以直接用 requests 请求整个网页下来，复杂点你就用 selenium+chrome driver,直接模拟人的点击，然后分析网页 page_source

EgT

2022-04-05 21:58:06 +08:00

@4rfv5tgb 是手机 app 就是因为抓包没看到其他请求，只有点击按钮的时候会返回一条图片的 url

cnbattle

2022-04-05 22:28:18 +08:00 via Android

可以参考下我抓抖音的方式 github.com/cnbattle/douyin 🙈

EgT

2022-04-05 22:38:05 +08:00

@cnbattle 好的谢谢我去看看

zoranz

2022-04-06 17:28:19 +08:00

可以考虑 appnium 思路最快肯定还是抓到接口

Skiro

2022-04-06 17:35:19 +08:00 via Android

抓包+逆向通常可以解决你遇到的 90%以上的问题。

EgT

2022-04-06 19:29:04 +08:00

@zoranz 就是因为抓包没看到其他请求，只有点击按钮的时候会返回一条图片的 url ，现在换了个思路看看他图片命名规则是什么加密的

EgT

2022-04-06 19:29:42 +08:00

@Skiro 好的，抓包没有看到请求，等会儿学学逆向看看

zoranz

2022-04-14 09:41:42 +08:00

解决了吗抓包没看到请求是因为现在大部分 app 弄了个啥东西你用 fiddler 挂了代理之后他就不给你访问了吧好像

EgT

2022-04-14 12:07:01 +08:00 via Android

@zoranz 没有换了其他方式来做了，这个机器人走的 tcp 协议