1
locusxt 2018-09-04 09:35:27 +08:00 via Android
顺着这个 href 接着爬就可以了
|
2
toono 2018-09-04 09:35:35 +08:00
我之前的做法就是分析他们的 API
|
3
wylwang OP 这个问题已经困了我一周,查了挺多资料,还是没办法,求大佬支招
|
4
whwq2012 2018-09-04 09:38:28 +08:00 via Android
if 返回码== 3xx 跟着跳转
|
5
bmos 2018-09-04 09:39:55 +08:00
首先和 1 楼说的,顺着 href 爬。
不行的话看看是不是需要 cookie,我之前提问过,有的网站需要判断 cookie 值,没有的话,就会要求 js 跳转,有 cookie 就可以直接访问。 还有其他措施,要具体分析 |
6
crazycabbage 2018-09-04 09:43:07 +08:00 via iPhone
返回链接继续爬,遇到 js 生成页面用 splash,不要用 selenium
|
7
uwh0am1 2018-09-04 09:46:29 +08:00
splash 把,使用 qt 中的 webview 加载页面,可以运行页面中的 js 代码,使用简单
|
9
encro 2018-09-04 09:58:43 +08:00
如果只是这个,正则匹配下 url 继续爬啊
|
11
wylwang OP @uwh0am1 splash 我也考虑过,我的需求是请求索引页-->详情页-->详情页里的某个 href 字段共三级页面,实现起来比较麻烦
|
12
huaerxiela 2018-09-04 10:50:19 +08:00
既然是无限循环的情况,可能是服务器验证有问题,要么你代码请求不规范,要么就是被反爬拦截了,排除代码问题后,着重看 cookie 变化或者 js 加密参数的情况
|
13
frankyxu 2018-09-04 10:52:58 +08:00
5 楼说的有道理,可能是你没带 cookie 访问,我最近刚好也遇到了这个问题,带上 cookie 就好了
|
15
wylwang OP @huaerxiela 是的,是因为没带 cookie,已经解决了,:)
|
16
testsec 2018-09-04 12:46:36 +08:00 via iPhone
一般这种是要带上 cookie 去访问的
|
17
hjzkenan 2018-09-04 17:29:26 +08:00
啥网站呀,贴出来看看?
|
18
wylwang OP |
20
yangyaofei 2018-09-25 15:47:51 +08:00
@wylwang 同样这个网站出这个问题,我发现直接用 requests 就可以...所以....这是为啥...
|