爬虫框架 scrapy request 哪个好，在不同的实际应用中各有什么优势，

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 3912 天前的主题，其中的信息可能已经有所发展或是发生改变。

爬虫框架 scrapy request 哪个好，在不同的实际应用中各有什么优势，

请大家讨论一下指点一下

3 条回复 • 1970-01-01 08:00:00 +08:00

fdsfsdfsdf3334

2014-04-07 22:02:42 +08:00

写错了应该是 requests 和 scrapy

answerw

2014-04-07 22:27:04 +08:00

没用过scrapy，但是requests 不是爬虫框架，是用来做http请求的库，配合pyquery或者beautifulsoup 解析文本对象，才能实现爬虫。以前用pyquery和requests抓过豆瓣的音乐人。

fdsfsdfsdf3334

2014-04-12 22:51:48 +08:00

@answerw 哦哦谢谢你

爬虫框架 scrapy request 哪个好 ，在不同的实际应用中 各有什么优势，