V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
richiefans
V2EX  ›  MySQL

用什么数据库存储访问日志做分析比较好?

  •  
  •   richiefans ·
    iamued · 2012-10-12 14:29:11 +08:00 · 9806 次点击
    这是一个创建于 4414 天前的主题,其中的信息可能已经有所发展或是发生改变。
    不是web server的日志 是经过加工后的业务日志 数据量一天在几百万 需要做统计分析

    目前用的是mysql 不知道数据量大了之后 性能如何?

    大家都用的是什么?求方案求推荐
    14 条回复    1970-01-01 08:00:00 +08:00
    feiandxs
        1
    feiandxs  
       2012-10-12 14:35:23 +08:00
    问到我心坎儿里去了= =
    目前是原始文件打包,近几日的进memcach...
    没楼主那么大,所以memcache还足够用。但也怕断电,就要重新抓,很麻烦。
    用mysql塞过web日志,其实还行,但目前我更倾向于用mongodb了。
    mark一下,坐等看各路高手经验。
    ritksm
        2
    ritksm  
       2012-10-12 14:37:50 +08:00
    mongodb+redis...
    phuslu
        3
    phuslu  
       2012-10-12 14:40:16 +08:00
    之前一个项目用的 mongodb, 按分钟压缩保存 raw log 和 summarized info, 30 TB.
    感想就是 mongodb cluster 部署和维护成本很高.
    richiefans
        4
    richiefans  
    OP
       2012-10-12 15:03:24 +08:00
    @ritksm @phuslu
    落伍了,我只是了解了下mongodb,redis,还没实际用过
    貌似redis累死K-V存储
    mongodb 貌似是可以按行存数据 按条件查询的

    这样看来 mongodb貌似是可以的
    richiefans
        5
    richiefans  
    OP
       2012-10-12 15:04:03 +08:00
    @feiandxs
    放到memcache 如何做查询分析啊?
    ritksm
        6
    ritksm  
       2012-10-12 15:20:30 +08:00
    @richiefans redis是有数据结构的。。。不是简单的k-v。。。我的做法是。。。mongodb存当天的。。。然后分析出来一堆结果。。。然后把可以distinct的值存到redis里面做周的分析。。。然后周-》月也一样。。。当然。。。如果硬盘足够大。。。可以完全用mongodb完成。。。
    haijd
        7
    haijd  
       2012-10-12 21:03:14 +08:00
    postgresql
    aveline
        8
    aveline  
       2012-10-12 21:08:06 +08:00
    我是mongodb...觉得存储成本有点高
    twm
        9
    twm  
       2012-10-12 21:11:59 +08:00
    mysql足够
    ioiioi
        10
    ioiioi  
       2012-10-13 18:31:39 +08:00
    logstash + elasticsearch, elasticsearch可以做cluster,logstash可以做过滤和规整。
    这两天我正在实践,网外有不少成功案例。
    zxp
        11
    zxp  
       2012-10-14 23:26:55 +08:00
    最近很火的 splunk,不管什么日志数据,只要用各种方式扔给Splunk,剩下的工作就交给这个号称IT界的Google来处理了。详见 http://zh-hans.splunk.com/
    superisaac
        12
    superisaac  
       2012-10-15 15:48:14 +08:00
    纯文本啊,用一堆脚本去分析。有必要用数据库?
    superisaac
        13
    superisaac  
       2012-10-15 15:53:41 +08:00
    或者用mysql archive engine, 只支持insert 和select, 压缩率比myisampack大。
    AntiGameZ
        14
    AntiGameZ  
       2012-10-15 16:22:30 +08:00
    splunk+1, 但是很贵,如果超过500m/天的quota
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4655 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 05:36 · PVG 13:36 · LAX 21:36 · JFK 00:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.