1
jqw1992 2015-08-07 14:50:04 +08:00
这个不错哎。
|
2
speedcell4 OP @jqw1992 缺点是有时候异常地慢
|
3
cqcn1991 2015-08-07 16:21:52 +08:00 via iPhone
好nb...具体介绍下?从此以后不用再写爬虫了?
|
4
speedcell4 OP @cqcn1991 首先是结构化页面,然后可以设置抓取频率,并且可以层级(具体的话,API主页 -> CRAWL SETUP -> CRAWL STRATEGY -> URLs from source API)。另外它的输出可以是RSS格式,所以对于那些不提供RSS的博客,你懂的。。。
|
5
Moker 2015-08-07 17:03:49 +08:00
貌似免费用户只能创建一个API?
|
6
cqcn1991 2015-08-07 17:11:10 +08:00 via iPhone
@speedcell4 话说我之前手写medium爬虫…
|
7
speedcell4 OP |
8
speedcell4 OP @cqcn1991 medium爬虫 是啥。。。
|
9
Moker 2015-08-07 17:53:15 +08:00
@speedcell4 新建的不能填入指定的URL
|
10
speedcell4 OP @Moker 可以呀。。。我明明是来问问题的。。。怎么变成答疑的了。。。
|
11
Moker 2015-08-07 18:57:25 +08:00
@speedcell4 因为你是个好人 2333
|
12
speedcell4 OP @Moker 强行发卡。。。
|
13
sunine 2015-08-07 21:01:12 +08:00
用过一段时间,用来爬搜狗上的微信订阅号,但是自动爬取经常失败,后来就放弃了。
使用上还挺不错的,js什么的都没问题。 |
14
speedcell4 OP @sunine 付费之后会有惊人的发现
|
15
caomu 2015-08-08 15:42:32 +08:00
搜了下发现个quora问答 http://www.quora.com/What-is-the-best-alternative-to-Kimono-web-scraper-by-Kimonolabs
另外这货感觉比已经死掉的 yahoo pipes 还要厉害啊。我的理想是有一套公开的爬虫和api中间件的在线应用,类似于 Zotero Translators + Evernote + Yahoo Pipes ,原始数据从这边倒进去,然后格式化的笔记和分类就从那边出来。 |