V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
fatkun
V2EX  ›  MySQL

大数据下查询性能如何提高?

  •  
  •   fatkun · 2013-04-24 00:58:38 +08:00 · 3315 次点击
    这是一个创建于 4223 天前的主题,其中的信息可能已经有所发展或是发生改变。
    需求:
    1.每天入库50万条
    2.有group by的需求
    3.group by的字段不定

    这个是一个报表系统,目前看来只有分表的方法解决。但是分表后怎么查询又是一个问题,因为需要group by多个表的内容。


    想看一下淘宝myfox的实现,但是技术不足,nodejs和php都不是很了解。而且myfox很久没更新了。。

    各位有没有遇到类似的问题?
    4 条回复    1970-01-01 08:00:00 +08:00
    fatkun
        1
    fatkun  
    OP
       2013-04-24 01:22:53 +08:00
    mysql cluster 是否可以解决这个问题?稳定性?
    fatkun
        2
    fatkun  
    OP
       2013-04-24 21:15:23 +08:00 via Android
    木有人回复。。自己顶一下
    VYSE
        3
    VYSE  
       2013-04-25 01:46:52 +08:00
    @fatkun cluster是为HA设定的,NDB性能远不如INNODB,坚持现有schema的话,只能推荐你使用PerconaDB。如果数据量总量不高,只是行数很多的话,不分表针对group by的字段加索引也没太大问题吧。
    fatkun
        4
    fatkun  
    OP
       2013-04-25 22:14:10 +08:00 via Android
    @VYSE 总量应该有3000万以上的,目前group by的字段个数不定,可以用户自己选。。所以还不能做联合索引。。。 我看看perconaDB。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1056 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 22:35 · PVG 06:35 · LAX 14:35 · JFK 17:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.