V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
kasp
V2EX  ›  问与答

关于采集新浪微博的问题

  •  
  •   kasp · 2015-05-06 15:30:52 +08:00 · 1458 次点击
    这是一个创建于 3471 天前的主题,其中的信息可能已经有所发展或是发生改变。
    想根据关键词采集新浪微博的搜索结果,发现微博的页面展示都是通过js模板来实现的;有没有朋友做过新浪微博的采集或者类似的,给指点一下。
    5 条回复    2015-05-09 00:00:18 +08:00
    azuginnen
        1
    azuginnen  
       2015-05-06 16:49:11 +08:00
    这样反而好呀,你用api过去返回json不是好解析么,而且明显的,热搜榜那里随便看看,滑到头上的时候又来xxx条新微薄了,肯定是ajax一遍一遍的..............
    kasp
        2
    kasp  
    OP
       2015-05-06 16:56:29 +08:00
    @azuginnen 不是json,返回的内容是用unicode编码的html代码夹杂在js里;然后使用js模板来展示的.
    azuginnen
        3
    azuginnen  
       2015-05-06 17:12:47 +08:00   ❤️ 1
    @kasp 那你试着抓包客户端试试,或者wap网页的。我试了html还真是如你所说的
    alansalexer
        4
    alansalexer  
       2015-05-06 21:50:31 +08:00 via Android
    根据关键词搜索采集新浪微博,这条路坑比较多,当然还是要具体需求具体分析。
    首先,你需要模拟登录,使用webkit渲染页面,页面渲染好之后再取里面的信息。这方面可以利用的工具有python的qt-webkit, nodejs的phantomjs/casperjs。
    其次,新浪会在你取到第50页左右的时候弹出验证码,要么手动输入,要么想办法自动识别验证码(我没有做过)。

    总之如果你以前没有太多爬虫方面知识的话,选新浪微博的搜索页面有点困难了,但学习一下总是好的。
    endoffight
        5
    endoffight  
       2015-05-09 00:00:18 +08:00 via Android
    selenium 和 chrome或ff 配合
    我用他抓过twitter的搜索结果

    给你参考一下

    https://github.com/phpgao/twitter_selenium_search
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5634 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 03:07 · PVG 11:07 · LAX 19:07 · JFK 22:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.