有没有镜像两家云的对象储存加缓存，或者自建轻量一点的跨云储存的集群。

[joyanhui]

一个写多，读取较少的环境。一分钟新建几万个文件，文件大小 10k 以内。读取相对向较少。

目前总体不到 20G.

可以接受短时间（ 5 分钟以内）的少许文件丢失。

目前是用的阿里云 oss 因为写入频率太高，费用比较高。上个月阿里云故障的时候，增加了华为和腾讯的对象储存做备份。也只是定时同步了一下，没有启用。

自建 minio 感觉有一点太重了，不知道有没有别的轻量的方案。

或者有没有让两家云储存合并到一起，两边数据基本一致，只要有一个可用就可用的方法。最好还有本地读写缓存。。。

研究了一下 rclone 的 union ，但是好像 他写就是只往第一个非 ro nc 的后端写，没测试出来第一个后端不可用的时候他是什么逻辑。

[knives]

自建跨云的对象存储，对空间没有太多要求的话，可以试试 https://github.com/deuxfleurs-org/garage

本地读写缓存就是另外一种东西了。可以试试 https://juicefs.com/zh-cn/

[ljn95869]

我用的又拍云，你可以试试能不能满足你的要求

[joyanhui]

@knives 谢谢，在尝试 garage 和 rclone union

juicefs 没搞懂，他是数据存储使用另外的 s3 储存，然后提供本地的读写加速对吗？然后再异步同步到其他 s3 里面

[joyanhui]

@ljn95869 和用阿里/华为 没区别吧？不知道 又拍云有什么特殊的特性？

[rekulas]

我觉得可以设置一家相对较稳的作为存储并开 cdn,再找一家备用平台开 cdn 并设置源为第一家并预缓存文件就行了
就算第一家出问题一般也会 1-3 内恢复,第二家也能用

[joyanhui]

@knives juicefs 把元数据储存到本地的 redis 中，然后在首次读取的时候会从其他的对象储存里面拉取，如果元数据没发生变化，第二次读取就从本机缓存里面拉取。 写入的时候，也是先写到本地，然后再异步到其他对象储存 。 是这个意思吗

[joyanhui]

@rekulas 文件储存，和 cdn 无关

[knives]

@joyanhui 和你理解的基本一致。juicefs 支持本地的读写缓存。本地缓存默认是 100GB 的空间，可以按需调整大小。读缓存默认开启，写缓存要手动开启（默认是同步写）。官方建议仅大量写入小文件时开启写缓存，具体原理看官方文档。

另外，如果挂载的盘没有共享使用的需求，可以使用本地的元数据引擎来简化架构，如 sqlite3 。

还有，garage 的基本原理是多区域副本镜像。rclone union 是多云空间合并使用，与 garage 不在一个路子上。

[joyanhui]

@knives 非常感谢，我昨天看了 juicefs 的本地缓存部分应该是我想用的。

rclone union 我不自建的情况下，可以用他的多端写入和 newest 的读取策略，加 vfs 的缓存，配合我手动同步两个 remote 好像也可以实现我想要的。还在测试效果。

garage 准备今天试试看看