假设每条日志包含一个五元组和一个时间戳,每天百亿级别。查询场景分两种:
目前想到的是直接怼进 es,有木有其他更好的方案?
1
kkjinping 2019-03-19 17:55:20 +08:00 1
上 ELK
|
2
hbsfxlz 2019-03-19 18:06:21 +08:00 1
HBASE,存 2 份或者做二级索引
|
3
zclHIT 2019-03-19 18:14:59 +08:00 via iPhone 1
HBASE,非常适合时序场景
|
4
moonfly 2019-03-19 19:31:31 +08:00 via iPhone 1
每天百亿级别,这是什么场景下的网络行为审计?
|
5
murmur 2019-03-19 19:34:48 +08:00 1
我也好奇楼主的场景 能达到日千万访问量的公司都不应该有这个问题 我们自己做电力的实时数据 数据量也才千万级 测点上万 都 达不到日百亿
|
6
HuHui 2019-03-19 19:37:34 +08:00 via Android
这种场景来 V2EX 问?
|
7
jeffersonpig 2019-03-19 19:41:11 +08:00
楼主是建墙的吗
|
8
Mac 2019-03-19 19:44:32 +08:00 1
楼主是孟姜女的老公没跑了,大家开怼。
|
9
0ZXYDDu796nVCFxq 2019-03-19 19:48:01 +08:00 via Android
记录的是『连接』,这个量级,gfw ?
|
10
saulshao 2019-03-19 20:37:26 +08:00
楼主的问题听起来确实是 GFW 才有的......
|
11
zyp0921 2019-03-20 08:35:48 +08:00
请问是方校长吗?
|
12
berumotto 2019-03-20 09:20:50 +08:00
细思极恐 楼主是干什么的
|
13
windfarer 2019-03-20 10:07:46 +08:00
建议接入学什么强国
|
14
henglinli 2019-03-20 13:23:39 +08:00 via iPhone
小心有诈
|
15
buhi 2019-03-20 13:31:43 +08:00
这个数据量, 是监控强国人脑电波的系统吗?
|