1
exoticknight 2015-09-17 11:49:25 +08:00
跟普通请求一样的库
你去看看代码中的 ajax 请求的地址、方法和参数是什么 |
2
ccbikai 2015-09-17 12:15:00 +08:00
User-Agent 注意一下, 再看看参数有没有什么特别的
|
3
hahasong 2015-09-17 12:25:08 +08:00
request
|
4
cloverstd 2015-09-17 12:40:08 +08:00 1
我想应该是 cookies 没带上
想简单就用 requets 的 session 或者用 urllib2 自己处理 cookies |
5
WKPlus 2015-09-17 14:25:36 +08:00 1
ajax 是另外一次请求,你需要发看看 ajax 发了什么请求,然后直接发那个请求就好了。
当然对于 ajax 请求,服务器还可能验证其他的,比如 cookie 、 ua 之类的 |
6
mulog 2015-09-17 16:44:34 +08:00 1
你要是只抓那一两个页面 可以自己去看看那个 ajax 请求是什么 然后去抓那个请求就好了
如果是数量比较多或者要抓取的页面不确定 那么你可能需要 Selenium |
7
CYKun 2015-09-17 17:27:25 +08:00
selenium ,这是一个大坑
|
10
ljbha007 2015-09-17 19:43:49 +08:00
注意 cookie, user-agent
还有个 x-requested-with 的 header |
11
say2old 2015-09-18 13:50:14 +08:00
你这个问题和用哪个库无关。请先用 Firefox 或者 Chrome 截获 Ajax 请求 API 的地址,以及 header, body, cookie 所有相关信息。然后再用 urllib2 去模拟这个请求拿数据。除了 urllib2 ,可以考虑用 python 的 requests 包,把 http 访问的相关操作封装的很好,很好用
|