V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
octocatami
V2EX  ›  Java

结构化数据,数据量很大 2g 左右(不修改),如何设计数据结构,使得查询的时间和空间复杂度尽可能的低

  •  
  •   octocatami · 2019-06-30 10:10:32 +08:00 · 4227 次点击
    这是一个创建于 1958 天前的主题,其中的信息可能已经有所发展或是发生改变。

    上忆条数据,每条数据都不大

    13 条回复    2019-07-01 15:23:42 +08:00
    iamaprin
        1
    iamaprin  
       2019-06-30 10:15:24 +08:00 via Android
    存数据库
    v2exe2v
        2
    v2exe2v  
       2019-06-30 10:24:48 +08:00
    DolphinDB 了解一下 https://www.dolphindb.cn/
    lihongjie0209
        3
    lihongjie0209  
       2019-06-30 11:38:04 +08:00
    数据库, 建索引
    vjnjc
        4
    vjnjc  
       2019-06-30 12:54:03 +08:00 via Android
    时间,空间只能选一。
    一般就是要查询快,建索引
    opengps
        5
    opengps  
       2019-06-30 13:30:33 +08:00
    具体什么要求?关系型数据库还是非关系型?
    笼统说,上亿条数据虽然不少,但也不太大,算是个分水岭的位置
    dongyx
        6
    dongyx  
       2019-06-30 14:28:14 +08:00
    楼主需要再多给点细节:

    1. 2G 是怎么定义的?数据的大小是和数据结构本身有关的,不同结构消耗的空间不一样,你说的 2G,具体是怎样的 2G。

    2. 查询是怎么定义的,数据是怎样的结构,需要的查询操作有哪些?比如要查哪些 field,只需要精确匹配吗?需要子串查询吗?正则吗?范围不等式查询吗?
    wukangave
        7
    wukangave  
       2019-06-30 17:01:01 +08:00
    v2ex 下限越来越低了,提问的连需求都描述不清楚
    dcsite
        8
    dcsite  
       2019-06-30 23:23:23 +08:00
    这点数据量, MYSQL + 索引 不就解决了么?
    txy3000
        9
    txy3000  
       2019-06-30 23:38:06 +08:00 via Android
    2g 很大吗? 你全部加载放入内存都没问题对现代 PC 来说 redis 有 hash 结构 o(1)够快吧
    lookas2001
        10
    lookas2001  
       2019-07-01 00:10:37 +08:00 via Android
    你的数据是关于啥的,以及你想查啥。
    不同场景有不同优化方案,楼主你需要先把需求说清了啊😂
    reus
        11
    reus  
       2019-07-01 11:17:42 +08:00
    用 SQLite,99%都比你自己设计的好。
    fox0001
        12
    fox0001  
       2019-07-01 11:39:04 +08:00 via Android
    歪个楼,导入 Solr,还能增强模糊查询
    zibber
        13
    zibber  
       2019-07-01 15:23:41 +08:00
    es 一把梭
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3618 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 04:16 · PVG 12:16 · LAX 20:16 · JFK 23:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.