V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
chy373180
V2EX  ›  程序员

每天有百亿级别的五元组数据需要进行存储和查询,选用什么方案好?

  •  
  •   chy373180 · 2019-03-19 16:19:45 +08:00 · 3603 次点击
    这是一个创建于 2055 天前的主题,其中的信息可能已经有所发展或是发生改变。

    假设每条日志包含一个五元组和一个时间戳,每天百亿级别。查询场景分两种:

    1. 查询访问某个目的 ip 的源 ip
    2. 查询某源 ip 访问果哪些目的 ip

    目前想到的是直接怼进 es,有木有其他更好的方案?

    kkjinping
        1
    kkjinping  
       2019-03-19 17:55:20 +08:00   ❤️ 1
    上 ELK
    hbsfxlz
        2
    hbsfxlz  
       2019-03-19 18:06:21 +08:00   ❤️ 1
    HBASE,存 2 份或者做二级索引
    zclHIT
        3
    zclHIT  
       2019-03-19 18:14:59 +08:00 via iPhone   ❤️ 1
    HBASE,非常适合时序场景
    moonfly
        4
    moonfly  
       2019-03-19 19:31:31 +08:00 via iPhone   ❤️ 1
    每天百亿级别,这是什么场景下的网络行为审计?
    murmur
        5
    murmur  
       2019-03-19 19:34:48 +08:00   ❤️ 1
    我也好奇楼主的场景 能达到日千万访问量的公司都不应该有这个问题 我们自己做电力的实时数据 数据量也才千万级 测点上万 都 达不到日百亿
    HuHui
        6
    HuHui  
       2019-03-19 19:37:34 +08:00 via Android
    这种场景来 V2EX 问?
    jeffersonpig
        7
    jeffersonpig  
       2019-03-19 19:41:11 +08:00
    楼主是建墙的吗
    Mac
        8
    Mac  
       2019-03-19 19:44:32 +08:00   ❤️ 1
    楼主是孟姜女的老公没跑了,大家开怼。
    0ZXYDDu796nVCFxq
        9
    0ZXYDDu796nVCFxq  
       2019-03-19 19:48:01 +08:00 via Android
    记录的是『连接』,这个量级,gfw ?
    saulshao
        10
    saulshao  
       2019-03-19 20:37:26 +08:00
    楼主的问题听起来确实是 GFW 才有的......
    zyp0921
        11
    zyp0921  
       2019-03-20 08:35:48 +08:00
    请问是方校长吗?
    berumotto
        12
    berumotto  
       2019-03-20 09:20:50 +08:00
    细思极恐 楼主是干什么的
    windfarer
        13
    windfarer  
       2019-03-20 10:07:46 +08:00
    建议接入学什么强国
    henglinli
        14
    henglinli  
       2019-03-20 13:23:39 +08:00 via iPhone
    小心有诈
    buhi
        15
    buhi  
       2019-03-20 13:31:43 +08:00
    这个数据量, 是监控强国人脑电波的系统吗?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2874 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 14:25 · PVG 22:25 · LAX 07:25 · JFK 10:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.