V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
jsq2627
V2EX  ›  云计算

网盘增量同步技术真的很难吗?

  •  
  •   jsq2627 · 2016-02-15 23:32:14 +08:00 · 11743 次点击
    这是一个创建于 3233 天前的主题,其中的信息可能已经有所发展或是发生改变。
    目前只知道 Dropbox 和坚果云有增量同步功能。
    天下那么多网盘,也不乏大厂巨头的产品,为啥只有这两家有这个功能。。
    12 条回复    2020-08-28 23:10:01 +08:00
    jiongjionger
        1
    jiongjionger  
       2016-02-15 23:39:04 +08:00
    定位就不同。另外增量的成本其实要大一些。
    jsq2627
        2
    jsq2627  
    OP
       2016-02-15 23:42:26 +08:00
    @jiongjionger 我理解的是增量会节省带宽,似乎是降到成本啊 = =
    openroc
        3
    openroc  
       2016-02-15 23:48:30 +08:00
    其实很简单,大都参考 rsync 算法进行改进。
    botao1
        4
    botao1  
       2016-02-15 23:53:16 +08:00
    因为这个行业已经(要?)消亡了
    dphdjy
        5
    dphdjy  
       2016-02-15 23:54:29 +08:00 via Android
    猜:普通储存基本是就是静态储存+cdn
    增量需要服务器参与运算分析
    gamexg
        6
    gamexg  
       2016-02-16 00:11:37 +08:00 via Android
    用处不大,大部分普通用户都是存放图片、视频占大头,这些不会有增量同步的需求。
    文档之类的本身就很小,争不争量无所谓。
    jiongjionger
        7
    jiongjionger  
       2016-02-16 00:53:25 +08:00   ❤️ 1
    @jsq2627 需要使用到增量的用户和使用普通网盘的就不是一个用户群体。
    普通网盘用户只是分享和存储一些资源为主。这些资源很多用户同样保存了,实际在服务器内只保存一份(考虑到负载均衡和灾备肯定不止一个副本)。在上传某个文件的时候,例如几个 G 的某热门电影。网盘会先计算这个电影的摘要信息(例如 MD5 值 + 文件大小),如果其他用户已经上传过了,则直接在数据库增加一条记录而已,并不会真的再次上传(所谓的秒传技术)。

    而用到增量的用户大多是需要备份重要文件的用户,使用场景大多是在多台设备互通数据或者备份数据。大多数据是独一无二的,需要重新上传的,储存成本不在一个级别,而增量还要考虑到算力的成本,甚至整个系统内的文件热度分布太过平均, CDN 等等的成本都会成倍增加。

    像百度网盘这些网盘的定位明显就是资源分享为主的,甚至有些带一些社交功能的,增加增量备份功能有点吃力不讨好,甚至没有增量备份功能反而可以带来更多的好处(过滤用户群、减少成本)。
    riaqn
        8
    riaqn  
       2016-02-16 07:42:42 +08:00 via Android
    Dropbox 的增量感觉也不好啊 据说是以 4M 为单位同步的
    chzyer
        9
    chzyer  
       2016-02-16 08:43:02 +08:00   ❤️ 1
    据我所知百度云最开始就提供了增量同步的 api...
    yuriko
        10
    yuriko  
       2016-02-16 11:11:41 +08:00
    问下 OneDrive 是哪种呢?
    貌似 office 好像是有专门的接口?
    jsq2627
        11
    jsq2627  
    OP
       2016-02-16 12:12:20 +08:00
    @yuriko OneDrive 只对 Office 文件提供增量同步。
    jsq2627
        12
    jsq2627  
    OP
       2020-08-28 23:10:01 +08:00
    @jsq2627 2020 update: OneDrive 现在已经对所有类似文件都提供增量同步了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   830 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 21:13 · PVG 05:13 · LAX 13:13 · JFK 16:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.