目前有这么个需求,前台通过编辑添加网址的方式,后台的爬虫自动爬取该网址.目前的思路是前台添加的存到数据库,写个定时任务读数据库的 url,如果 url 有增加,再写个通用爬虫框架,把 url 放到通用爬虫框架里,实现自动化配置爬虫. 现在这个通用爬虫框架有点难搞啊 @__@
1
aino 2018-10-18 13:53:40 +08:00
我写过一个,也是前台配置好 URL,并且配置好爬取规则( xml 格式),后台就一套爬取逻辑,遍历 xml 去执行爬取任务
|
2
519718366 2018-10-18 14:49:22 +08:00
你可以借鉴下 webmagic 的产品化方案
https://github.com/code4craft/webmagic/issues/43 |
5
jisibencom 2018-10-18 15:15:00 +08:00 via Android
有的,scrpy 有 web 版,还有个国产的什么搜客吧,不过用了之后你会发现连火车头的 1%的便捷性都不到。
|