V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xlsepiphone
V2EX  ›  程序员

求帮忙斟酌推荐一下好用的开源对象存储方案

  •  
  •   xlsepiphone · 2021-09-24 21:41:14 +08:00 · 3007 次点击
    这是一个创建于 1148 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前没有接触过这块,这两天在做技术调研,目前了解到的有:

    • minio
    • lakeFS
    • SeaweedFS
    • JuiceFS

    然后还有一些比较重的方案,我就直接略过了,因为没了解过这块的开源方案,所以求 V 友帮忙看看。

    使用场景为存储视频,视频都是不超过 1 分钟的短视频,手机的分辨率。

    然后可能涉及到对视频的拼接和变换,读会比写频繁。

    8 条回复    2021-10-10 09:30:06 +08:00
    ruixue
        1
    ruixue  
       2021-09-24 21:50:20 +08:00
    MinIO 易用性不错
    qieqie
        2
    qieqie  
       2021-09-24 22:20:14 +08:00   ❤️ 1
    如果是需要随机读写,追加写之类的情况,对象存储系统其实都不适合,虽然这些开源项目可能都声称实现了 POSIX 兼容但实际上性能都打了折。
    defunct9
        3
    defunct9  
       2021-09-25 06:38:43 +08:00 via iPhone
    ceph
    Licsber
        4
    Licsber  
       2021-09-25 10:17:05 +08:00
    1. 单机部署还是集群部署?
    2. 数据重要么 总容量大么 需要纠删码( EC )额外保证数据安全性么?
    3. 数据总文件数多么 需要 SeaweedFS 合并的特性么?
    rickiey
        5
    rickiey  
       2021-09-25 14:07:49 +08:00
    ipfs ?
    kingfalse
        6
    kingfalse  
       2021-09-26 07:48:54 +08:00 via Android
    1
    silenzio
        7
    silenzio  
       2021-09-26 09:32:53 +08:00
    用过 MinIO,单独上传和下载速度不错,golang 的 sdk 简单,c++用 AWS s3 的 sdk
    多个客户端下载同一个资源,速度大打折扣,目前还没有解决
    集群部署是备份,并不是负载均衡
    chrislusf
        8
    chrislusf  
       2021-10-10 09:30:06 +08:00
    有多少数据?数据多性能要求高的话 SeaweedFS 可以。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1051 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 110ms · UTC 19:42 · PVG 03:42 · LAX 11:42 · JFK 14:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.