1
feiandxs 2012-10-12 14:35:23 +08:00
问到我心坎儿里去了= =
目前是原始文件打包,近几日的进memcach... 没楼主那么大,所以memcache还足够用。但也怕断电,就要重新抓,很麻烦。 用mysql塞过web日志,其实还行,但目前我更倾向于用mongodb了。 mark一下,坐等看各路高手经验。 |
2
ritksm 2012-10-12 14:37:50 +08:00
mongodb+redis...
|
3
phuslu 2012-10-12 14:40:16 +08:00
之前一个项目用的 mongodb, 按分钟压缩保存 raw log 和 summarized info, 30 TB.
感想就是 mongodb cluster 部署和维护成本很高. |
4
richiefans OP |
5
richiefans OP @feiandxs
放到memcache 如何做查询分析啊? |
6
ritksm 2012-10-12 15:20:30 +08:00
@richiefans redis是有数据结构的。。。不是简单的k-v。。。我的做法是。。。mongodb存当天的。。。然后分析出来一堆结果。。。然后把可以distinct的值存到redis里面做周的分析。。。然后周-》月也一样。。。当然。。。如果硬盘足够大。。。可以完全用mongodb完成。。。
|
7
haijd 2012-10-12 21:03:14 +08:00
postgresql
|
8
aveline 2012-10-12 21:08:06 +08:00
我是mongodb...觉得存储成本有点高
|
9
twm 2012-10-12 21:11:59 +08:00
mysql足够
|
10
ioiioi 2012-10-13 18:31:39 +08:00
logstash + elasticsearch, elasticsearch可以做cluster,logstash可以做过滤和规整。
这两天我正在实践,网外有不少成功案例。 |
11
zxp 2012-10-14 23:26:55 +08:00
最近很火的 splunk,不管什么日志数据,只要用各种方式扔给Splunk,剩下的工作就交给这个号称IT界的Google来处理了。详见 http://zh-hans.splunk.com/
|
12
superisaac 2012-10-15 15:48:14 +08:00
纯文本啊,用一堆脚本去分析。有必要用数据库?
|
13
superisaac 2012-10-15 15:53:41 +08:00
或者用mysql archive engine, 只支持insert 和select, 压缩率比myisampack大。
|
14
AntiGameZ 2012-10-15 16:22:30 +08:00
splunk+1, 但是很贵,如果超过500m/天的quota
|