目前我们的日志采集流程是 Spring Boot 服务生成 log 文件,Filebeat 采集 --> Logstash 进行 Grok,同时遇到 ERROR 日志发送到 RabbitMQ 来进行钉钉告警 --> ElasticSearch --> Kibana 搜索查看。
现在测试环境已经使用 K8S 来部署,如果使用 Rancher 里的日志设置直接发送到 ElasticSearch 里,没有 Grok 的过程,发送的日志格式不是我们想要的,ERROR 日志也不好告警了,想看看大家是如何进行这部分日志采集的。
1
anexplore 2020-11-28 16:22:33 +08:00
直接把 log 写到共享卷里面;外面依然走 filebeat 那一套
|
2
cheng6563 2020-11-28 20:02:45 +08:00
我司是一开始就统一配置日志写到 /var/log 里,k8s 里把这个目录挂进容器就是了
|
3
smilingsun 2020-11-28 22:40:56 +08:00
不知道 loki 能不能解决?
|
4
goxy 2020-11-29 00:48:21 +08:00
grafana
把日志和报警分开 grafana 可以设置 es 为 datasource,然后 webhook 到钉钉 |
5
glongzh 2020-11-29 00:57:30 +08:00
rancher 又不是非得走自带的日志模块,你自己也可以在 k8s 上部署 filebeat,logstash 这些啊,跟你原来一样的
|
6
hantsy 2020-11-29 11:03:20 +08:00
具体不知道 Rancher 与 K8S 有什么差别,感觉对于熟悉 DevOps 部署一套 ELK,或者 EFK 应该不难。
|
7
Kyle18Tang OP @goxy #4 Grafana 我们有展示 Prometheus 监控数据, 你说的这个我可以去了解一下, 这样告警确实也挺方便的.
|
8
Kyle18Tang OP @anexplore #1 下周试一下共享卷
|