我们之前对日志的处理是,每天会有一个定时任务处理头一天的日志,会选择一个关键的日志入库,然后可以下载,导出成 excel 之类的,但是随着日志数据量的巨增,发现入库不是一个好的选择,大神们是怎么弄的呢?
1
957204459 2017-12-08 12:13:41 +08:00 via iPhone
ELK
|
2
cls1991 2017-12-08 12:15:34 +08:00
elk
|
4
zen9073 2017-12-08 12:34:22 +08:00
@deweixu
logstash 收集 log,发送到 elasticsearch 存储,然后通过 kibana 处理展示, |
5
roricon 2017-12-08 15:21:40 +08:00
在 logstash parse log file 的时候加 filter 可以过滤掉你不关心的 log entries
|
6
iugo 2017-12-08 18:17:55 +08:00
之前想过用 Kafka + 自定义处理, 但前一段将日志移入某云. 然后只针对严重的错误进行提醒.
|
7
qqmishi 2017-12-09 07:16:08 +08:00
或者试试 loggly 这种日志服务
|
8
rooftop64 2017-12-09 09:23:28 +08:00
试试 Graylog
|