V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NaVient
V2EX  ›  程序员

关于大数据架构选择的问题想请教下

  •  
  •   NaVient · 2018-06-04 11:32:39 +08:00 · 1614 次点击
    这是一个创建于 2364 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前的需求是这样的:

    • 商品表有 9000 万左右的数据(商品信息会有实时增删改查)
    • 每月有大概 1500 万的销售订单数据入库
    • 需要分析单个商品周 /月 /年的价格曲线以及库存变化(每周更新,不用实时计算,这个部分打算做离线计算)

    emm 需求听起来有点像 BI,嗯是有一点像。
    所以我的问题是:

    • 用 Postgresql 能满足上述要求吗?该按什么维度去做分区 /分库 /分表呢?
    • 如果不能,我该引入什么架构呢?
    9 条回复    2018-06-04 12:49:38 +08:00
    hooopo
        1
    hooopo  
       2018-06-04 12:10:01 +08:00
    这么点数据离线算的话根本不用分库分表...
    NaVient
        2
    NaVient  
    OP
       2018-06-04 12:34:58 +08:00
    @hooopo 9000 万数据的增删改查应该会很慢吧
    opengps
        3
    opengps  
       2018-06-04 12:38:10 +08:00
    数据多,但是还算不上大数据吧
    vegito2002
        4
    vegito2002  
       2018-06-04 12:42:55 +08:00 via iPad
    分区分库这些针对的是高读写 qps。仅仅是数据多但是全是离线处理, 不需要瞎折腾。你这个 crud 的 qps 也不到 10。
    vegito2002
        5
    vegito2002  
       2018-06-04 12:44:03 +08:00 via iPad
    你每条记录每次更新量多大?
    iyaozhen
        6
    iyaozhen  
       2018-06-04 12:45:17 +08:00 via Android
    这么点数据不用折腾,搞个主从,从库晚上慢慢算呗
    NaVient
        7
    NaVient  
    OP
       2018-06-04 12:46:34 +08:00
    @vegito2002 每天可能会涉及到几百万的数据更新,时间是不固定的,但是更新不是用户行为,QPS 应该 OK
    vegito2002
        8
    vegito2002  
       2018-06-04 12:49:22 +08:00 via iPad
    @NaVient 那就 9L 这个思路, 简单搞搞看, 不行再想其他的花招
    vegito2002
        9
    vegito2002  
       2018-06-04 12:49:38 +08:00 via iPad
    7L 思路,我打错了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2629 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 04:33 · PVG 12:33 · LAX 20:33 · JFK 23:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.