V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
iOS 开发实用技术导航
NSHipster 中文版
http://nshipster.cn/
cocos2d 开源 2D 游戏引擎
http://www.cocos2d-iphone.org/
CocoaPods
http://cocoapods.org/
Google Analytics for Mobile 统计解决方案
http://code.google.com/mobile/analytics/
WWDC
https://developer.apple.com/wwdc/
Design Guides and Resources
https://developer.apple.com/design/
Transcripts of WWDC sessions
http://asciiwwdc.com
Cocoa with Love
http://cocoawithlove.com/
Cocoa Dev Central
http://cocoadevcentral.com/
NSHipster
http://nshipster.com/
Style Guides
Google Objective-C Style Guide
NYTimes Objective-C Style Guide
Useful Tools and Services
Charles Web Debugging Proxy
Smore
stephenliubp
V2EX  ›  iDev

建设通网站的爬虫设计

  •  
  •   stephenliubp ·
    FantasticLBP · 2018-10-25 08:51:57 +08:00 · 3775 次点击
    这是一个创建于 2203 天前的主题,其中的信息可能已经有所发展或是发生改变。

    建设通的爬虫程序如何设计?

    产品有:小程序、App、网站

    • 网站的话分析网络看不到接口调用,应该是 Node 中间层对接口和网页做了处理,返回给浏览器端的效果就是已经渲染好的页面。跟早期前后端未分离的效果一样
    • App、小程序:都是有接口的。Charles 抓包后发现有些数据是需要登陆才可以肯定,并且是 VIP 才可以,一年 5000RMB。所以不敢拿账号去尝试,爬被封

    建设通网站网址

    各位大佬,这种情况如何解决啊?如何爬取账号且 VIP 可见的数据

    7 条回复    2018-11-30 09:14:09 +08:00
    dingyaguang117
        1
    dingyaguang117  
       2018-10-25 10:25:57 +08:00
    selenium + chrome headless 啦
    uminokoe
        2
    uminokoe  
       2018-10-25 13:00:55 +08:00 via Android
    selenium + firefox headless 啦
    stephenliubp
        3
    stephenliubp  
    OP
       2018-10-25 15:07:28 +08:00
    @dingyaguang117 为什么他可以解决呢??请求的时候对方会限制请求次数,只要次数多了就会封 VIP
    shawndev
        4
    shawndev  
       2018-11-02 16:36:54 +08:00
    selenium + headless chrome
    stephenliubp
        5
    stephenliubp  
    OP
       2018-11-03 19:53:17 +08:00
    @shawndev 不行的。正常用户操作多了都封锁账号。「 selenium + headless chrome 」 做到的就是模拟浏览器加载出来,这对于这个情景根本不适用
    kangzlong
        6
    kangzlong  
       2018-11-30 09:01:44 +08:00
    @stephenliubp 如果你要的内容必须登录才能爬到而且一个账号操作频繁就会被锁住的话,我感觉你应该在注册账号这块想想办法,自动注册一堆账号。因为我要是这么设计的话,我的 API 也必然要求账号信息,所以你怎么都绕不过去
    stephenliubp
        7
    stephenliubp  
    OP
       2018-11-30 09:14:09 +08:00
    @kangzlong 注册不可以的。注册必须购买 VIP 才可以,5000 RMB
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1942 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 16:20 · PVG 00:20 · LAX 08:20 · JFK 11:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.