基于 PVE， TrueNAS 和 OpenWRT 的自用 ALL in ONE NAS 记录

[CapNemo]

之前使用 DELL R510 搭建的 NAS 快满了，毕业后也很难带着 2U 服务器到处跑。因此萌生了组建一台新的 NAS 的想法。

需求

梳理了一下我对这台理想中的 NAS 的需求，列举如下。

1. 存储（目前有 4TB 数据，期望容量 20TB，预留 40TB 的可能性）内容以动画为主，也包含重要个人文件的备份。
2. 下载（ Torrent ）
3. 软路由（ zerotier 虚拟内网（用于与 R510 组成异地灾备））
4. 虚拟化（支撑有时候的开发需求，有可能结合 frp 搭建个人网站）
5. 体积限制，一般 M-ATX 机箱大小
6. 噪音限制，和家用台式电脑同级

计划使用的技术

技术上，由于需求和 R510 差不多，技术选型也相当相似。

• Pve 作为 host 系统
  • openwrt
    • ZeroTier
  • TrueNasCore
    • ZFS
  • 其他虚拟机

硬件需求

以上内容对硬件产生了如下约束。

1. 内存
   1. 16GB 起步，最好 32GB
   2. ECC
2. 处理器
   1. 4 核以上
   2. VT-x & VT-d
3. 主板
   1. 具有两个以上 PCI-e 插槽
   2. M-ATX 版型
   3. ipmi
   4. 多网口
4. HBA 卡
   1. 支撑 8SATA
   2. 直通给 TrueNAS
5. 多口千兆网卡
   1. 直通 OpenWRT
6. 硬盘

当然，我还只是个穷学生，预算方面有 1w 左右的限制。

最终选型

硬件	型号	品牌	数量	单价	总价
机箱	N8C	小克思工控	1	¥780	¥835
主板	X10SLL-F	SuperMicro	1	¥650	¥650
CPU	E3-1231 V3	Intel	1	¥340	¥340
RAM	8G DDR3 1600 ECC	Micron	4	¥170	¥685
HBA	SAS9300-8i	LSI	1	¥1050	¥1050
网卡	WYI350T4	Winyao	1	¥289	¥289
SSD	870 EVO （ MZ-77E1T0B ）	Samsung	1	¥899	¥899
SSD	WDS100T2B0A	WD	1	¥929	¥929
PSU	SSP-250SUB	SeaSonic	1	¥355	¥355
Cooler	HP400mini	乔思伯	1	¥99	¥99
FAN	SC8010KH12H-P	Scythe	4	-	¥132
线材	SFF-8643 => 4*SATA	-	2	¥40	¥88
线材	SATA	-	2	-	¥40
配件	2.5 寸硬盘架	-	1	¥28	¥36
总计	-	-	-	-	¥6427

其中，两块 SSD 组成 RAIDZ1 用于 PVE 系统盘。

相信读到这里肯定有人注意到了，没有硬盘。原因相当简单，计划使用的 WD40EZRZ 最近价格风云变换，一度涨至¥700 元。故暂缓。先找了 8 块垃圾硬盘来搭建原型。

搭建过程中的注意事项

1. PVE 只能有一个控制网口，虽然可以改，还是建议将 2 号网口（对应软路由的 LAN ）作为控制口
2. pvetools 这个脚本的开启 pice 直通功能对应 EFI 启动的 pve 不起作用，需要按照 pve 官方教程将 intel_iommmu=on写入 kernel-command

总结

目前来看，这一套虽然略微超出预算，但是基本上能够满足我的需求。我还是相当满意的。 美中不足的有以下几点。

1. 机箱
   1. 必须使用 FLEX 电源，选择受限
   2. 空间利用率有点低，比万由机箱或 NBOX 高一截（但是 pcie 不需要转接线）
2. SAS9300-8i 对 BIOS 支持并非十分友好，最好搭配 EFI 使用
3. 主板
   1. 内存容量出道即颠覆，没有升级空间了
   2. CPU 供电只有 85W，不能使用大多数 E3 V4
   3. 第一条 PCIE 槽在 2 号位，上面的 1 号位是空着的导致插双槽显卡会被迫放弃第二条 pcie 槽。

以上是我组建 All in ONE NAS 的大致记录，谢谢。

[sbilly]

功耗大概啥水平？

[CapNemo]

@sbilly 功耗计不在身边，估计待机 20w，峰值 150w 吧

[TodayLsp]

SAS9300-8i 对 BIOS 支持并非十分友好，最好搭配 EFI 使用

你好问一下，这句话是指要改成 EFI ，PVE 才会认 SAS9300 吗

[CapNemo]

@TodayLsp 我记得当时碰到的问题是 bios 模式下无法用于直通。具体的表现好像是虚拟机一开机就宿主机宕机。至于宿主机是否认出了 9300 ，我当时并不关心这个，也就没看。