V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐关注
Meteor
JSLint - a JavaScript code quality tool
jsFiddle
D3.js
WebStorm
推荐书目
JavaScript 权威指南第 5 版
Closure: The Definitive Guide
huyia
V2EX  ›  JavaScript

facebook 爬虫

  •  
  •   huyia · 2019-08-02 22:39:32 +08:00 · 4991 次点击
    这是一个创建于 1939 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在研究 facebook,推特爬虫,发现网站加载了一大堆的 js 代码,网上查询了一下,这是使用了 chunk 技术,由服务器一段一段的分发加密数据给客户端,然后由 js 解密。我想实现只用 python 请求库来完成这个爬虫,不用 splash 等自动化插件,但是发现很难下手,哪位兄弟能指点一下我该怎么继续下去,求指教

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2840 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 07:40 · PVG 15:40 · LAX 23:40 · JFK 02:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.