V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zk123
V2EX  ›  程序员

十亿级数据报表,选用什么数据库查询比较快

  •  
  •   zk123 ·
    zk-123 · 2020-11-19 12:08:02 +08:00 · 5468 次点击
    这是一个创建于 1466 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请问各位 v 友们,数据量每日增长约 300w,要做报表,在十亿级别的数据量里,要想查询速度在 2s 内返回,用什么数据库存储查询比较快?

    (最好单表或不需要自己做额外业务,可以加索引,插入更新慢不要紧,查询快就好。)

    28 条回复    2023-01-14 11:02:42 +08:00
    shakeyo
        1
    shakeyo  
       2020-11-19 12:11:37 +08:00
    mysql+异步队列计算足够简单足够满足需求了
    qiayue
        2
    qiayue  
       2020-11-19 12:13:14 +08:00   ❤️ 2
    ClickHouse
    opengps
        3
    opengps  
       2020-11-19 12:15:16 +08:00
    这主要得看你的查询条件,我当年把 gps 坐标轨迹,压缩到只允许 2 个查询结构,15 亿行里分了 31 个区,秒查三天轨迹
    另外,硬盘介质一定要快,尽可能用好的 ssd
    chiva
        4
    chiva  
       2020-11-19 12:27:00 +08:00 via iPhone
    单查询 mysql 完全满足啊
    nuk
        5
    nuk  
       2020-11-19 12:37:14 +08:00
    有索引基本都秒查吧,唯一要担心的就是你的 index 塞不进内存。
    lasuar
        6
    lasuar  
       2020-11-19 12:46:01 +08:00
    ck #2
    Wincer
        7
    Wincer  
       2020-11-19 12:46:09 +08:00
    clickhouse,非常适合 olap,我们最大的一张表有 600 亿的数据。
    wangyanrui
        8
    wangyanrui  
       2020-11-19 13:09:23 +08:00 via Android   ❤️ 1
    看查询条件是什么样子,不然没法下定论
    zk123
        9
    zk123  
    OP
       2020-11-19 13:35:56 +08:00
    @opengps @wangyanrui 主要聚合统计偏多
    qiayue
        10
    qiayue  
       2020-11-19 13:40:23 +08:00
    不用选了,上 ClickHouse 吧,CH 就是为这个需求而生的
    vincent7245
        11
    vincent7245  
       2020-11-19 13:44:48 +08:00
    要看你的业务了,如果是统计需求比较多可以考虑大数据技术栈
    samuel
        12
    samuel  
       2020-11-19 13:57:09 +08:00
    ClickHouse
    lucyplay
        13
    lucyplay  
       2020-11-19 14:17:48 +08:00
    ck
    lixintcwdsg
        14
    lixintcwdsg  
       2020-11-19 15:13:32 +08:00
    clickhouse 解决你的所有问题
    yangqingrong
        15
    yangqingrong  
       2020-11-19 22:25:08 +08:00 via Android   ❤️ 1
    mycat
    inwar
        16
    inwar  
       2020-11-19 22:43:25 +08:00 via Android
    Ck 或者 es
    hangszhang
        17
    hangszhang  
       2020-11-19 23:08:28 +08:00
    统计需求多 mysql 肯定不行, clickhouse 吧
    yangzh
        18
    yangzh  
       2020-11-19 23:31:37 +08:00 via iPhone
    clickhouse?
    rapperx2
        19
    rapperx2  
       2020-11-20 09:04:45 +08:00
    clickhouse +1
    Cowhitewhite
        20
    Cowhitewhite  
       2020-11-20 09:44:26 +08:00
    vertica ?
    NillSpake
        21
    NillSpake  
       2020-11-20 10:53:20 +08:00
    clickhouse +1
    IDAEngine
        22
    IDAEngine  
       2020-11-20 11:39:23 +08:00 via iPhone
    clickhouse +1
    superman2
        23
    superman2  
       2020-11-20 15:35:04 +08:00
    回复这么多 clickhouse,现在 clickhouse 有这么火吗?你们有谁都用在生产上面了
    superman2
        24
    superman2  
       2020-11-20 15:36:00 +08:00
    @yangqingrong 好久没有在头条上见到你了
    oneoyn
        25
    oneoyn  
       2020-11-20 18:36:14 +08:00
    分布式数据库 mycat
    zk123
        26
    zk123  
    OP
       2020-12-20 11:52:28 +08:00
    感谢大家的建议,clickhouse 很不错,但是支持 ClickHouse 的云平台只有阿里云,而且价格太贵,自己搭一套运维成本太高,纯报表的聚合使用 clickhouse 性价比太低。最终使用了 MongoDB,多维度分表的方式。
    zk123
        27
    zk123  
    OP
       2021-05-20 08:29:08 +08:00
    后又换成了 Clickhouse
    L0L
        28
    L0L  
       2023-01-14 11:02:42 +08:00
    @zk123 补个楼,老哥 Clickhouse 用起来怎么样呢?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2656 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 78ms · UTC 04:19 · PVG 12:19 · LAX 20:19 · JFK 23:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.