想问一下大家 python 的 urllib 库怎么爬取跳转的链接, 我大概想了跳转链接分两类,一种是直接跳转:304 另一种是响应 200,然后自动 js 跳转的, 想问一下,是怎么实现的,需要请求 js 的 url 吗 ps:python3 环境下
1
p2pCoder 2018-01-02 13:58:33 +08:00
js 自动跳转的,你请求到包含 js 页面的就可以了
|
2
WoodenRobot 2018-01-02 14:56:44 +08:00
为什么不用 Requests?
|
3
Flobit 2018-01-02 15:24:51 +08:00
胶水语言,不要局限在一个库里面,不行就换,多试试其他的。
|
4
dirls 2018-01-02 15:26:38 +08:00
1# 正解
|
5
wh01096045 2018-01-02 17:24:16 +08:00
你也可以分析 js,得到跳转的 url,然后请求
|
6
ray8888 2018-01-02 17:42:37 +08:00 via iPhone
为什么不用 scrapy
|
7
Ginson 2018-01-02 17:51:21 +08:00
我一般是分析 JS,拿到跳转后的链接;或者直接用能执行 JS 的库去请求,比如 selenium webdriver
|
9
linhanqiu OP @WoodenRobot Requests 怎么能够自动跳转,之前看到 urllib 库可以获取跳转后的链接,不知道 requests 可不可以
|
10
linhanqiu OP @wh01096045 好吧,我也打算这么做
|
12
WoodenRobot 2018-01-05 10:34:16 +08:00
@linhanqiu 直接重定向的 requests 可以自动实现重定向,在返回数据中获取重定向后的 URL。
|