集群式存储 NAS 的一种可能性？求大佬解惑

[sinORcos]

家里的 NAS 可用空间越来越少了，现在使用的是一个 8 盘位的 DIY 机器，可用容量 64T ，剩余容量不足 8T ，目前在考虑扩容方案

首先我不想换硬盘，也许我可以买一个洋垃圾来做 2 号 NAS ，但是考虑到日后继续扩容的需求，我现在就想搞一个可无痛扩容的集群。

因为 Truenas 使用的 Cluster 是基于 Gluster 的，而 Gluster 已经几乎不进行任何维护，Truenas 已经在最新的版本中移除了其集群功能，虽然官方说正在尽力解决集群功能的问题，但是不知道要等多久。

所以我想了一个歪招，就是勇 PVE 做底层，在 PVE 中搭建 Ceph 存储集群，然后以 block 的形式将 Ceph 存储挂载给 unraid 或者 Truenas 来建设存储，基础的数据保护做在 Ceph 层级，但是因为目前没有设备进行测试，不清楚这样的架构是否会带来较大的性能损失，我甚至不清楚这种架构能否实现，还请大佬指点。

[lzxz1234]

可以 iscsi 套娃？

[rojer12]

用外置的硬盘供电笼子？有多的 pcie 插槽的话加个 raid 卡之类的，数据线直接连过去，供电由笼子负责

[mayli]

是的，对于优化不好的场景，会有较大的性能损失。
能实现。
你并不需要真的机器，你可以用 vm 起 pve ，然后 vm 里搭建 ceph 集群。

[sinORcos]

@rojer12 如果考虑外置硬盘的方案的话，我可能会直接上 jbod 设备了，整个洋垃圾服务器，用 hba 卡外接 jbod 设备，扩容的上限也可以增加很多，确实也考虑过这个方案

[sinORcos]

@mayli Ceph 的调优大概看了一些资料，感觉非常复杂，好像也不是一个很好的办法，不是专门搞 Ceph 运维的我来弄这种架构，感觉最后只能是“能用”的水平，达不到“好用”

[zx900930]

可以多几台 vm 起 ceph
性能损失肯定有，毕竟套 3 层娃。
所以一般拿来练习 ceph 的，即使是自己用，拿几台旧机器整个真的集群比这个靠谱多了。
因为你这个虽然逻辑上是集群，实际计算和存储都在一台机器上，是个单点。。。所以还不如普通的 raid 。

[Navee]

司波图最近更了一期 pve 集群+ceph 的视频，可靠性看上去还可以，磁盘容量和和性能会有损失

[njzhx]

家用搞啥的这么多存储需求。。

[podel]

我也想到了。Ceph 磁盘的性能不行。而且还要求集群之间互联带宽很高。
Ceph 配置复杂。可靠性也是存疑。

[sinORcos]

@zx900930 真集群的话，推荐什么方案呢？ GlusterFS 上次更新好像是 2020 年的事了……

[libook]

有 PCIe 槽吗？有的话几十块钱一张 HBA 卡，浪潮拆机的硬盘笼，直接就有 12 盘位，级联还能再扩 12 盘位。

数据中心的分布式方案是建立在强大的运维部门的基础上的。

[min]

硬盘也是有寿命的，不如另外搭一套，方案也简单不折腾

[zx900930]

@sinORcos #10 个人使用，建议存储单独弄个 NAS 出来，这边试过全闪 ceph 的 rbd 用 csi 接入 k8s(预生产环境)后套娃 glusterfs 满足部分服务 RWX 的需求。IOPS 损失（ 4k 小文件 70%Read 30%Write ）对比直接 csi 接入 block storage 平均在 60%以上，瓶颈在网络上，测试时网络是 25G x2 捆绑.

对网络的要求非常非常高，网络抖动可能造成 glusterfs 脑裂-节点损坏，这时候的 file-healing 根据数据量经常是以天为时间单位计算的。


所以先弄清楚自己的需求，大文件还是小文件，读写比例，以及你是否有足够的精力来维护你的存储架构。

小建议：公司里管这些已经够累了，家用真的放过自己吧。
一个 NAS 盒+单副本 TrueNAS 能满足 99.999%家庭使用了。
要扩容，买同样数量的硬盘新建一个 vdev raidz 加入池子吧，这是标准 zfs 扩容的方式。

[wangbin11]

能用即可，你那些需求用 nvme 全都可以解决，剩下的 hdd 做数据落地，有兴趣可以留个联系方式我加你，我可以帮忙

[wangbin11]

我失业了很无聊，可以留个联系方式我和你一起折腾

[sinORcos]

@zx900930 我也觉得家庭搞 Ceph 太复杂了，就是想搞个可以完全无痛扩容的方案出来，看各位大佬的建议，最后可能还是选择 TrueNAS 的方案，高于服务器硬盘位的扩容就用 jbod 解决，之前 linus 搞过一个 Mother Vault ，可能就使用类似那种的方式才最适合家庭或微型公司，虽然 B 站上很多人说 Mother Vault 这种类型是数据灵车

[sinORcos]

@wangbin11 全闪的成本太高了，非我辈能承受啊

[wangbin11]

@sinORcos nvme 用来加速不是全闪，你留个联系方式我加你

[xinmans]

楼主不考虑 zfs 吗？ 我目前用 zfs 堆了快 100T 的存储。16T*8 ，打算组两组，全部 smb 挂载使用。

[phrack]

上集群感觉就很复杂啊，单机几十块硬盘也没问题啊，你这个 8 块硬盘还能翻几倍呢，到时候再考虑集群呗

[NoOneNoBody]

好奇是什么场景要全部数据在线？
我硬盘已超过 200T ，但从没想过要全部挂上，没必要啊，每天数一遍全部文件个数么？

[AS4694lAS4808]

真要有多个节点，不如搞个 minio ，当 s3 桶外挂，水平随意扩展。

[xiaoyuesanshui]

我真的研究过这个方案，底层用 esxi ，然后上几个 CEPH 节点

且不说三层套娃

印象里每 TB 推荐 1GB RAM,感觉不是服务器主板真的带不起这么多内存插槽

且不说家里有没有地方和噪音，电费都吃不消了

后来我认真研究了一下工作站方案，消费级 CPU ，多带几个 PCI 接口，用 PCI 转 sata 扩展出来，其实也挺香的

如果是一般家用存个剧、照片、备份啥的，有个 100T 肯定足够的