有人用 Phantomjs casper 做爬虫吗？发现它太慢，如何提高性能？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 3336 天前的主题，其中的信息可能已经有所发展或是发生改变。

phantomjs

casper

性能

提高

10 条回复 • 2015-09-27 16:40:00 +08:00

tabris17

2015-09-27 09:46:30 +08:00

换 C/C++的 Httplib

hobbyliu

2015-09-27 09:54:30 +08:00

@tabris17 我想要他的解析 js 供呢

WildCat

2015-09-27 09:58:27 +08:00

ajax api 不能直接爬么

hobbyliu

2015-09-27 10:03:23 +08:00

不是，我想要的东西，都是经过 js 各种规则解析出来的，没有所谓的 ajax api, 所有需要一个 webkit

xiaozi

2015-09-27 10:08:42 +08:00

设置不加载图片，这样可以节省时间

hobbyliu

2015-09-27 10:10:34 +08:00

@xiaozi 在哪设置？没找到相关设置呢？

pango

2015-09-27 12:23:38 +08:00

@hobbyliu
给你看一个 selenium 版本的
driver = webdriver.PhantomJS(executable_path='D:\phatom\phantomjs-1.9.0-windows\phantomjs.exe',desired_capabilities=dcap, service_args=['--load-images=no'])
其他版本应该差不多，就是传一个--load-images 参数

Imivan

2015-09-27 14:02:45 +08:00

王校长的头像。

FrankFang128

2015-09-27 15:47:43 +08:00 via Android

必然

dingyaguang117

2015-09-27 16:40:00 +08:00 via iPhone

不加载图片+1