V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
mentalidade
V2EX  ›  程序员

想把日志存入到 es 里面,不使用 Logstash 直接存到 es 可以吗?

  •  
  •   mentalidade · 2017-10-12 10:07:43 +08:00 · 6627 次点击
    这是一个创建于 2581 天前的主题,其中的信息可能已经有所发展或是发生改变。

    日志量大概一天 200 万的样子,以后可能会变大。

    原因:
    1.我传入的就是格式化好的 json 数据,看 Logstash 就是对输入的数据格式化输出到 es 里,所以我感觉这个 Logstash 对我没有什么用
    2.主要就是担心性能了,那传入 kafka,然后输出到 es,是不是可以?
    
    23 条回复    2017-10-13 13:41:27 +08:00
    Cooky
        1
    Cooky  
       2017-10-12 10:18:32 +08:00 via Android
    es 可能抗不住,嫌弃 logstash 的话可以试试 rsyslog
    Cooky
        2
    Cooky  
       2017-10-12 10:21:06 +08:00 via Android
    哦不对,平均时间的话应该抗得住,集中一块就费尽了
    lfzyx
        3
    lfzyx  
       2017-10-12 10:27:55 +08:00
    可以的,我就没用 logstash,而是自己用 python 写的
    xiaoshengyige
        4
    xiaoshengyige  
       2017-10-12 10:34:59 +08:00
    kafka 靠谱。我们线上就这么用的。每天大概 400w+日志,供参考。
    hyperdak288
        5
    hyperdak288  
       2017-10-12 10:37:05 +08:00
    Logstash 性能很差
    你可以不用

    filebeat 直接怼文件也行
    zxc337
        7
    zxc337  
       2017-10-12 10:44:36 +08:00
    直接上 flume 吧
    FiveDDD
        8
    FiveDDD  
       2017-10-12 10:49:21 +08:00
    推荐 flume 和 kafka, logstash 真是性能差
    jybox
        9
    jybox  
       2017-10-12 12:46:37 +08:00
    不需要处理日志的话直接用 filebeat 好了,都是一家的东西,资源占用是 logstash 的十分之一
    WispZhan
        10
    WispZhan  
       2017-10-12 13:07:39 +08:00 via Android
    有人对比 Graylog 么?
    binjjam
        11
    binjjam  
       2017-10-12 13:09:53 +08:00
    我是自己用 python 写脚本导入的,每天 1500~2000W 记录 8~12G
    Lax
        12
    Lax  
       2017-10-12 13:31:29 +08:00
    输出 json 只是替代 logstash 的格式化功能,logstash 还有别的用途。
    当然如果不在意数据完整性的话,没必要 logstash 以及 filebeat 或其它的 beat。
    如果还想用 kafka 解决这些问题,何必舍近求远呢?
    yzmm
        13
    yzmm  
       2017-10-12 13:37:31 +08:00
    用官方的 java 的 API 就可以了
    S1ahs3r
        14
    S1ahs3r  
       2017-10-12 13:41:46 +08:00
    filebeat 挺好的,内存 60M 左右跑的起来
    mentalidade
        15
    mentalidade  
    OP
       2017-10-12 15:04:47 +08:00
    @Cooky 时间不固定,中午 12 点左右和下午 5-8 点之间会比较频繁。因为有 java,node,NGINX 等很多产生的日志,在考虑是写入文件收集还是写入 kafka,然后输出到 es
    @xiaoshengyige 直接写入 es,担心会阻塞住,这个可以
    @lfzyx 因为很多方面很多种不同的日志要手机,全部直接写入到 es 不知道会不会导致阻塞严重?
    mentalidade
        16
    mentalidade  
    OP
       2017-10-12 15:07:07 +08:00
    @hyperdak288 Beats 可以 tcp 直接发送业务 log 吗,因为有的不写入到文件,按照固定格式写入
    mengzhuo
        17
    mengzhuo  
       2017-10-12 16:26:27 +08:00
    可以~才 200w 每天
    我们是 15w 每秒

    kafka-es 3 台 es 抗住了
    Jakesoft
        18
    Jakesoft  
       2017-10-12 17:05:57 +08:00
    @mengzhuo 我去, 你们什么业务日志量这么大
    mengzhuo
        19
    mengzhuo  
       2017-10-12 17:07:27 +08:00
    @Jakesoft #18 这就不能说了
    fbbin
        20
    fbbin  
       2017-10-12 17:23:19 +08:00
    @WispZhan 性能很差的
    mentalidade
        21
    mentalidade  
    OP
       2017-10-12 17:54:20 +08:00
    @mengzhuo 厉害了
    badttt
        22
    badttt  
       2017-10-12 18:19:43 +08:00
    10W 每秒,自己写的 etl 工具采集
    owenliang
        23
    owenliang  
       2017-10-13 13:41:27 +08:00
    需要批量写,单条写肯定是扛不住。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3400 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 11:27 · PVG 19:27 · LAX 03:27 · JFK 06:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.