python登录V2EX失败

[xuelang]

之前看了“谁写个自动领取奖励脚本？”（http://www.v2ex.com/t/68136），自己刚接触python，所以想试着写一个练练手。

用到python的requests库，关于网站登录部分，分析了一下登录提交的表单，有5个字段，类似下面：
next=%2F&u=***&p=***&once=21381&next=%2F

首先分析登录界面取出next,once,next值，分别为input_next_value_pre、input_once_value、input_next_value_post, 然后用requests请求页面，主要代码如下：
signin_url = "http://www.v2ex.com/signin"
user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) \
AppleWebKit/537.31 (KHTML, like Gecko) \
Chrome/26.0.1410.65 Safari/537.31"
headers = {"User-Agent": user_agent}

logininfo = {"next": input_next_value_pre,
"u": usr_name,
"p": passwd,
"once": input_once_value,
"next": input_next_value_post
}
signin_req = requests.post(signin_url,
data=logininfo,
headers=headers,
)

结果登录老是失败，怀疑是v2ex的登录表单中有两个next字段，并且值一样，这样构建post字典第二个next就被忽略，不知道该怎么解决呢？

源码： https://gist.github.com/xuelangZF/5565536

[whtsky]

你很缺钱么…

[DH]

我估计是cookie的问题，你在post之前，先GET一次，把cookie存下来，再post。

[swulling]

1. 第一次请求的时候有PB3_SESSION的cookie，不用存，用requests的话直接用Session就很方便
2. next不是问题，你提交两个就好了
3. 注意POST的Referer要带上

实测可以登陆，没问题

[swulling]

4. next不用分析页面，直接'/'就好

[xuelang]

@whtsky 不是，只是对网站自动验证感兴趣，又看到那个问题，就拿v2ex做了下实验了

[xuelang]

@DH
@swulling
谢谢，已解决。

[DH]

网站防爬虫的办法是五花八门，每个站都不一样。

[xuelang]

@DH 那要爬网站时，认证时有没有什么一般的思路呢？

[swulling]

@xuelang 分析请求。模拟人工操作。

一般来说，只要不是开验证码或者用浏览器插件。。凡是人能做的，机器也能做

[xuelang]

@swulling 嗯，明白了。

[xuelang]

@swulling 不过说到底还是要了解http协议，web的一些知识。

[DH]

一般就是cookie上做文章，有些好像是js设置cookie，就得运行js代码或者弄明白算法自己算。

苹果那个下单页面，把cookie放在静态文件里面，这些文件一般爬虫不抓，就缺cookie的值。

[Aeolia]

@xuelang 请问最后是怎么解决的？

[beakey]

@xuelang once的随即生成就可以？

[xuelang]

@Aeolia post请求头加了Referer，并且用requests的Session.

[xuelang]

@beakey once先get一下登陆界面，分析html取出once值。

[yanwen]

菜鸟求代码。

[yaotian]

@swulling 可有些网站有加密的，例如weibo.com的登陆。机器去做不是很容易的。

[flewover]

@yaotian weibo.com如何做加密的？我之前有用过selenium的api登录weibo.com很容易。

[swulling]

@yaotian 没啥不容易的

不嫌烦的话用python去模拟js的行为，嫌烦的话直接用这个
https://github.com/DYFeng/GRobot

除非丧心病狂用flash，activex。。

[yaotian]

@swulling 占用资源大吗？

[xuelang]

@yanwen 我也第一次写.

[swulling]

@yaotian gevent + webkit，应该不高，不过我没测过性能

作者原来是webkit/selenium二选一，后者资源占用比较大，貌似新版本去掉了

[yanwen]

@xuelang 用了一下你的gist。。。貌似也是login 失败。。

[xuelang]

@yanwen 我的可以登录上去啊(刚测的)；不过短时间内多次登录会失败，可能服务器有限制。

[yanwen]

还是不行。。也许是人品问题。。呃。。
@xuelang

http://bcs.duapp.com/picstore/CoUbLHaInI.jpg

[xuelang]

@yanwen 没在win下试过。难道是user-agent的问题，你换成win下浏览器的user-agent试一下

[yanwen]

@xuelang

还是没搞明白到底是什么原因。。。。
改了UA，依旧提示登陆失败。。

[yanwen]

会不会是BS版本的问题？？我装了两个BS版本。。一个是3的。。一个是4的。。是这个原因么？

[xuelang]

@yanwen 把3卸了试试？

[yanwen]

卸了BS3.2.1之后，还是不行。。没办法。mark一下。。改天有时间再弄。。

[xuelang]

@yanwen 刚在win7下试了一下，可以正常登录。不知道怎么传图。。

[yanwen]

@xuelang 直接粘贴图片的url地址就可以了。。

[xuelang]

@yanwen
http://p13.freep.cn/p.aspx?u=v20_p13_photo_1305150001192671_0.png

[yanwen]

真奇怪。。等我重装py看看能不能解决。。真搓。。哎。。

[xieren58]

怎么不用mechanize ？

[xuelang]

@xieren58 不知道这个库呢，有空再看下