V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
salmon5
V2EX  ›  DevOps

实时日志文件集中收集方法

  •  
  •   salmon5 · 2017-03-31 22:45:19 +08:00 · 6111 次点击
    这是一个创建于 2823 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司很多应用服务器 tomcat 等,业务日志输入没有统一的规范,由于是非结构化数据,各种抛异常 debug 等,没法用 ELK , 又没有专门的架构人员去规范业务日志,去做这套平台, 怎么实时的同步到一台机器上,比如 ip 地址是 10.1.1.1 的 /usr/local/tomcat/logs/* 到一台机器的 /data/logs/10.1.1.1/*,这样按日志的行同步,不用关心日志规范,以此类推 N 多应用服务器。 这样普通开发人员想分析日志只要这一个集中的服务器权限就可以了。

    第 1 条附言  ·  2017-07-24 13:01:33 +08:00
    看到有同志收藏了,更新下简单有效的解决方法,用 nfs,所有应用服务器的日志文件夹,mount 到集中日志服务器上,这可以说是最佳方案了!
    11 条回复    2017-12-04 14:38:37 +08:00
    momocraft
        1
    momocraft  
       2017-03-31 22:48:16 +08:00   ❤️ 2
    感覺可以用 fluentd 把各機器的各種 log 轉發到一處
    miao1007
        2
    miao1007  
       2017-03-31 23:25:14 +08:00 via Android   ❤️ 1
    上 MQ 发送日志
    goodryb
        3
    goodryb  
       2017-03-31 23:59:50 +08:00   ❤️ 1
    同步文件 rsync ?
    jimzhong
        4
    jimzhong  
       2017-04-01 07:33:03 +08:00   ❤️ 1
    syslogd 支持远程日志服务器吧
    willakira
        5
    willakira  
       2017-04-01 08:22:29 +08:00   ❤️ 1
    Log4j 的 Appender 支持写到远程服务器
    https://logging.apache.org/log4j/1.2/apidocs/org/apache/log4j/net/SocketAppender.html
    知道这个的话剩下就是找个合适的服务了, logstash, syslog-nd 等等

    但是你这样只是解决了一个问题,日志的集中归纳

    建议你们在这之上搞一个日志分析系统,好处至少有这样几个:
    - 工程师可以更广地看待整个系统问题
    - 学习成本不高,因此 PM 也可以很好分析各种业务情况
    pekingzcc
        6
    pekingzcc  
       2017-04-01 15:13:46 +08:00   ❤️ 1
    最简单的就是折腾下 syslogd 或 Rsyslog
    bengle
        7
    bengle  
       2017-04-01 16:05:38 +08:00   ❤️ 1
    ELK 不就是干这个的么,不通的日志用不通的规则去解析,除非这些应用日志打在一个文件里??
    wingyiu
        8
    wingyiu  
       2017-05-18 15:47:24 +08:00
    写一个 LogUtil 库,统一一下日志格式,然后用 ELK 不就行了?
    glennxie
        9
    glennxie  
       2017-09-07 14:03:20 +08:00
    服务端:ELK,其实如果不过滤接收的日志,logstash 可以不装。
    tomcat 上装 filebeat 作为 agent 直接传输到 elasticsearch 或者传到 logstash 做过滤
    glennxie
        10
    glennxie  
       2017-09-07 14:04:08 +08:00
    机器多可以加 redis 或者其他作为缓存
    iappled
        11
    iappled  
       2017-12-04 14:38:37 +08:00
    rsyslog
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   848 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 21:33 · PVG 05:33 · LAX 13:33 · JFK 16:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.