1
chroming 2016-08-12 00:39:07 +08:00 via iPhone
微博做了很多防爬虫的处理。登录的话用 selenium 模拟比较方便。验证码和 ip 问题就要想办法解决了。
|
2
theodorus OP 代码交流可考虑粘到 http://paste.ubuntu.com 中。然后贴上链接。
|
3
theodorus OP @chroming 我使用的是 selenium 。但是始终无法越过验证码。这个没有方法可以解决吗。我想完全在 CLI 下面实现。
cookie 呢。 |
4
Chyroc 2016-08-12 00:49:28 +08:00
使用打码平台或者识别验证码,我自己的项目,简单的我就自己识别了,复杂的就使用打码平台,快捷又经济!
|
5
Chyroc 2016-08-12 00:50:12 +08:00
另外,微博爬虫应该是使用 3g ,手机页面等等比较好吧
|
6
neosfung 2016-08-12 01:02:11 +08:00 via Android
微博不是有 api 么。你先在微博的开放平台注册好你的应用,然后创建一个 dummy 的用户,并且允许它访问你的应用。然后就可以你就可以获得 dummy 的授权并且可以访问它关注微博的更新
|
7
lc4t 2016-08-12 01:24:22 +08:00 via iPhone 1
微博主站密码是 rsa 的,手机版直接的,消息爬虫优先考虑移动版。
|
8
miyuki 2016-08-12 03:03:34 +08:00 via Android
GhostPost 和 LZ 的想法差不多
|
9
kslr 2016-08-12 03:26:42 +08:00 via Android
有个微博小挂件 直接解析分析即可
|
10
kindjeff 2016-08-12 06:57:29 +08:00 via iPhone
爬微博档案的 rss ,微博档案是一个第三方的微博备份的网站
|
11
theodorus OP |
12
theodorus OP @neosfung 想自己实现一遍。毕竟不是做项目,不到没办法的话不太想用现成的 API 。主要就是登录问题。
|
13
theodorus OP @lc4t 问下 rsa 是什么意思。这个具体怎么用呢。我一直在考虑用户名密码登录。所以卡在验证码上面。
|
14
theodorus OP @kindjeff 它那个太慢了应该?主要还是想自己写个出来。可是微博反爬虫有点厉害。有点想破解掉的意思。
|
15
lc4t 2016-08-12 08:35:46 +08:00 via iPhone
@theodorus 卡在验证码..验证码识别吧..另外登录成功了记得一直保持 cookies ,不要每次登录去查看更新
|
16
janxin 2016-08-12 09:00:23 +08:00
lz 这个需求 API 就行吧...
|
17
em70 2016-08-12 09:04:38 +08:00
用微博官方提供的 API,记得每小时可以刷 5000 次动态次好像
|
19
chaichaichai 2016-08-12 09:39:56 +08:00
爬.cn 域名,我当时似乎没有遇上验证码问题, ip 的话用动态 ip 或者去写一个爬代理的爬虫
|
20
chaichaichai 2016-08-12 09:40:39 +08:00
我下班回家找找我当时写的代码,没准改改还能用
|
21
jsonzz 2016-08-12 09:41:33 +08:00
去年写过,当时抓包拿到了 weibo 的 api 。每隔半小时爬取下那个用户的微博数总量,如有变化,再爬,存到 txt 里
|
23
hack 2016-08-12 10:02:22 +08:00
移动端的请求,抓包分析,可能更快
|
24
goodluck 2016-08-12 10:06:46 +08:00
如果只看微博是不需要登陆的,看个人信息才需要登陆!
|
25
theodorus OP @chaichaichai 我也是 CN 域名。现在好像要验证码了。不过还是很想看看你的代码。能不能分享一下?我做个参考。
|
28
cenxun 2016-08-12 10:40:12 +08:00
记得手机版可以直接抓的
|
31
pheyer 2016-08-12 14:13:20 +08:00
现在的微博有一个痛点,就是收藏的微博可能会被原作者删除,然后你就看不到了,作者要不考虑改善一下?
|
32
enyblock 2016-08-12 14:55:30 +08:00 via Android
其实可以用 IFTTT 加 evernote 来实现,我会告诉你我用这样的方式来提醒女神的微博的更新么?一旦女神发微博,短信提醒我,微博保存到 evernote.
|
33
enyblock 2016-08-12 15:00:20 +08:00 via Android
其实并不需要登录吧,我说下我用 IFTTT 的原理,你看能借鉴不?
条件是某微博博主的 rss,不要用微博名字,用微博给用户分配的那个 id,一直去监听这个应该就可以实现了吧。 |
35
haozibi 2016-08-12 16:46:13 +08:00 via Android
不用模拟登录,用微博 api 。 http://www.github.com/haozibi/BiWeibo 之前练手写的,凑合看吧
|
37
theodorus OP @enyblock 如果是应用的话自然现成的设计和软件相当好。实现起来也很漂亮。 rss 的话我没找到地址?或者微博反爬虫是有的,所以抓不到数据。需要先认证。目前在学 API 。
|
40
coolloves 2016-08-13 16:14:12 +08:00 via iPhone
如果只是监控某人动态,没必要登录,用移动版的微博.cn 就可以监控,只是部分内容显示不全
|