因为是监控很多个一个网站的很多个不同的目标源,所以我决定用 APS 启动多个异步任务抓取(根据每个任务的特征,判断启动时间与结束时间,请求间隔设成五分钟一次这样)
然后这些抓取的内容先不洗清,按事先搞好分类扔进不同的 KAFKA 频道。
另一边不同的洗清模块从不同的 KAFKA 频道抽取,进行清洗,并存入 SQL 数据库,一般是 MYSQL
这样的话,我很容易就写成,抓取与清洗是两个程序。等于需要启动两个程序。一个启动爬虫抓,另一个启动清洗程序,是否成熟的作法是只有一个入口文件,启动后两个都开始执行?
1
leonme 2018-11-25 11:41:46 +08:00 via Android
第一个分号之前的内容都没读明白
|
3
Wincer 2018-11-25 11:43:22 +08:00 via Android
抓取和清洗应该是两个模块,但可以不用是两个程序。
|
5
zn 2018-11-25 12:04:20 +08:00 via iPhone
说得挺明白了。
这么说吧,两种方法都可以,并没太大优劣之分。 如果是我,我会分开,会更方便开发和调试。还能一边默默爬,一边调试清洗程序,互不干涉。 |
6
kslr 2018-11-25 14:47:01 +08:00
一个项目随便跑一个 queue 不就行了
我觉得分开比较好,因为可能速度不一致 |