最近打算爬一个网站数据,链接格式自己都有。想找一个好用的爬虫软件,需求是顺利爬下数据,不被网站主发现。
源网站是一个购物网站,流量很大。
======================= 追加: 源网站链接返回的数据是JSON数据,可以直接用。
源链接格式为https://www.xxxxxx.com?a=YY&b=ZZ
爬虫只需要能实现更改不同的a和b就行。其中a是在几个固定的参数里面选,b是page页码。
1
yalay 2017-03-09 16:43:16 +08:00
火车头?
|
2
klxq15 2017-03-09 16:47:22 +08:00 via Android
用 python 循环一下不就搞定了,不过爬虫的难点在于提高爬取速度
|
3
bazingaterry 2017-03-09 16:47:52 +08:00 via iPhone
Scrapy
|
4
IanPeverell 2017-03-09 16:50:33 +08:00
一个方法是用 Scrapy 框架搭,另一个方法是用 requests 写
问题除了速度还有反爬虫的问题,可以代理+随机改变请求的 HEAD |
5
lovejoy 2017-03-09 19:40:01 +08:00
跟爬虫关系不大吧,你这个自己写脚本抓就好了
|
6
figofuture 2017-03-09 19:47:12 +08:00
|
7
tomasyl 2017-03-09 21:39:14 +08:00
nutch 啊
|
8
voidtools 2017-03-10 10:21:31 +08:00
如果只有 2 位数的页面。。。好像没必要弄爬虫。。。 dtm 通配符搞一下就好勒
|
9
lesxc 2017-03-10 12:43:35 +08:00
srcapy 就不说了,可以试试 webmagic 开箱即用!
|