V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
AncientLibrary
V2EX  ›  程序员

Telegram twitter 微博这类应用是如何面对无线增长的数据的啊?

  •  
  •   AncientLibrary · 2022-11-27 17:55:05 +08:00 · 1917 次点击
    这是一个创建于 726 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近我加了不少 telegram 上面的图群(你懂得),发现是可以无限往回翻的,一直翻到群建立第一天的消息。甚至 twitter (推特需要高级搜索)和微博也是可以回溯到一个人最初发的消息的。

    如果只是文本还好说,这类应用的用户很多都是发的图片和视频。这些企业是怎么面对这样增长的用户数据的啊?感觉过个若干年光是旧数据的保有成本就会扩张到一个无法接受的地步

    工业上是如何解决这个问题的?

    5 条回复    2022-11-28 17:49:21 +08:00
    janus77
        1
    janus77  
       2022-11-27 18:01:53 +08:00
    加机器呗,这又不是什么高端技术,难道国内没有吗?微博了解一下
    me221
        2
    me221  
       2022-11-27 19:41:52 +08:00
    加机器. 硬盘不值钱
    wolong
        3
    wolong  
       2022-11-27 19:43:33 +08:00
    求分享图群
    star7th
        4
    star7th  
       2022-11-27 22:54:13 +08:00
    就是大硬盘集群扛着。无它。
    成本肯定有,但是没有你想象的高。现在的硬盘还是比较便宜的。更大的支出在于流量。存数据没太多成本,读数据,流转数据,流量贵。
    因为流量比存储更贵,所以我折腾出了另一种降低流量成本的法子。https://www.v2ex.com/t/877718?p=2
    victorc
        5
    victorc  
       2022-11-28 17:49:21 +08:00
    某个著名 im 的存储架构正好是我设计的,也是永久保留消息,方案就是 分级存储

    1. im 消息的时效性特别强,95%的消息请求都是一周之内; 一周之内的消息用最贵的 nvme 磁盘,更早的可以使用机械盘
    2. 产品层面可以对消息存储时间设计一个计费点
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2784 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 14:30 · PVG 22:30 · LAX 06:30 · JFK 09:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.