V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
damngoto
V2EX  ›  Serverless

几百万条更新频率很低的数据用什么低(零)成本的存储方便查询?

  •  
  •   damngoto · 2022-07-26 10:19:42 +08:00 · 2887 次点击
    这是一个创建于 880 天前的主题,其中的信息可能已经有所发展或是发生改变。

    放到数据库虽然查询快,但是成本对我来说高了:)

    放到 csv 里面费内存,serverless 服务的还不太好调用。

    Apache 有个 parquet 格式,不知道这个量级查询速度怎么样。

    9 条回复    2022-07-26 19:05:39 +08:00
    pota
        1
    pota  
       2022-07-26 10:31:25 +08:00
    数据少的话放到 cloudflare workers kv 里面?
    gfreezy
        2
    gfreezy  
       2022-07-26 10:40:05 +08:00   ❤️ 1
    sqlite 可以吗
    EchoUtopia
        3
    EchoUtopia  
       2022-07-26 11:15:02 +08:00
    之前看过一个很强很便宜方案:用 sqlite 存储分片数据,把 sqlite 数据库文件存储到对象存储里面去(非常便宜),然后使用 serverless 去查询分片数据,最后再聚合一次
    damngoto
        4
    damngoto  
    OP
       2022-07-26 11:29:03 +08:00
    @pota workers kv 支持多少数据
    pota
        5
    pota  
       2022-07-26 11:31:29 +08:00   ❤️ 1
    @damngoto #4 空间 1GB
    damngoto
        6
    damngoto  
    OP
       2022-07-26 11:34:14 +08:00
    @EchoUtopia 嗯,我想到的也是类似。主要担心查询速度和同时服务用户数,😁
    damngoto
        7
    damngoto  
    OP
       2022-07-26 11:34:46 +08:00
    @pota 哇,那应该够了。我去了解下。
    gesse
        8
    gesse  
       2022-07-26 12:37:31 +08:00
    @EchoUtopia
    有地址可以看吗?
    EchoUtopia
        9
    EchoUtopia  
       2022-07-26 19:05:39 +08:00
    @gesse
    @damngoto
    忘了,好像聚合是利用 postgres 聚合的,性能非常好,关键价格便宜。并发就不知道了。当时是在 twitter 刷到的,好像是发布在 hackernews 上的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2816 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 11:47 · PVG 19:47 · LAX 03:47 · JFK 06:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.