求助有关 PVE 下的 OpenWRT 做主路由这件事

[Shir0k0]

刚刚搞了一套 All in boom 的硬件（ i5-12400 + 32G ），不知道如下的操作得不得行：

前置条件：

1. 外部网络通过 DHCP 服务提供，不关心这一个外部网络接口以外的任何网络结构
2. AIB 有 4 个网口
3. 有一个已经刷了 Openwrt 但是性能特别差的路由器（可以用来当无线 AP ）
4. 有一台电脑有有线上网需求

我想：

1. PVE 通过一个固定网口当紧急情况下（比如说内部 VM 全部挂掉）的管理口
2. PVE 内部跑一个 Openwrt 当主路由，直通三个网口给 Openwrt 。（一个口链接外部网络，一个口给 AP ，一个口链接电脑）
3. PVE 内部跑一个 TrueNAS 当 NAS 系统，直通所有 SATA 口到 TrueNAS 上。
4. TrueNAS 通过某种方式加入 Openwrt 主路由的局域网，和其他设备实现互相访问（比如说 AIB 出来的一个网口上的设备能够直接链接 TrueNAS ，而不用 NAT 或者什么转发）。
5. 局域网内的设备可以通过 Openwrt 访问到 PVE 的管理口，但是不影响 PVE 提供的那个网口的功能。（比如说在 Openwrt 这个 VM 没炸的时候局域网里其他设备可以用某个 IP 访问 PVE 管理口提供的服务，但是如果 Openwrt 这个 VM 炸了把网线连接到管理口上也是可以正常使用的（比如说手动设置网段之类的））

求助：

1. 我想的东西是否可以实现，如果可以，这套方案的性能会很差吗？主要是 TrueNAS 和 Openwrt 之间如何互相访问，虚拟一个网卡？虚拟出来的网卡如果走 VirtIO 会不会导致吃一点 CPU ？（比较关心 CPU 占用是因为我不想让 AIB 太热，不然太吵）
2. 如果可以实现，能提供一点技术上的提示或者指南，里面有一些我还是不太清除的，特别是有关网络设定这部分。我对 KVM 很熟悉。

[starrynight9]

我目前的方案和你说的差不多，就是 j4125 下面虚拟个 op 和 debian ，然后 op 直通 3 个 2.5g ，debian 是直接用的 pve 的虚拟 virtIO 虚拟网卡，其实如果你的管理端口和 op 在同一网段，那么 pve 下的所有虚拟机的虚拟网卡 virtIO 都可以被 op 的 DHCP 管理并且可以互相访问
性能损耗确实有，但是我是日常使用感受不到有啥区别，可以先用着如果性能有瓶颈的话可以搞个单独的硬路由为好。
还有就是你说的所有的 vm 都炸了是可以用管理网口（就是留下的未直通的那个网卡为管理网口）访问 pve 的，但是我没碰到过，只有在更新 op 的系统的时候才这样做

[piero66]

12400 这种消费级硬件 不带 ipmi 的，建议主路由分开/硬路由，宿主内核崩了桥接网口都会全部 boom ，直通的 vfio 也会 boom

[yyzh]

的确。而且 12 代就是出问题的那代吧。小心 cpu BOOM!

[yyzh]

@yyzh 搞错了。是 13/14 代的

[NotFoundEgg]

可以看看这个是否满足你的需求，听起来是与你的需求比较相似 https://www.bilibili.com/video/BV1GY41177Es/

[bobryjosin]

cpu 强的话力大砖飞，直不直通日常体验差别不大，VirtIO 半虚拟化网卡性能最好，同一个 vmbr 里面跑个 25G 没啥问题，不复杂的话两个 bridge ，一个网口外网，剩下的所有网口扔到一个 bridge 里面，再配个静态 ip ，建议加台硬路由做备份故障转移，不然 boom 了之后，直接断网。

[Shir0k0]

感谢各位的评论，十分有价值，看起来起码我没有想一些不可能实现的操作。这套只有我一个人用 Boom 了就 Boom 了，上班的时候不用，用的时候都是在家；之前确实有考虑 IPMI/vPro ，但是想了想感觉没什么必要，除非是放在超远程异地的机器（我老家有一台 NAS 崩了，这也是我装这台 AIB 的原因之一），BTW ，PiKVM 看上去很有意思（虽然有点小贵）。
现在的路由器（之后的 AP ）也可以当一个手动 fallback ，到时候备份一下现有的配置感觉能应急用一下。

感觉对于单身社畜来说 AIB 只要别天天 Boom 问题都不大（我不打网络游戏）。

[txydhr]

@yyzh 搞错了是 10/11 代

[sayoll]

同 12400 ，用了一年多没任何问题

[badgv]

OP 直通的 3 个网口，剩下的 1 个网口上面，创建一个“虚拟交换机”，虚拟机上面可以创建很多个虚拟网口，PVE 本身的管理地址也是“插在这个虚拟交换机上面的”。
1 、在这个虚拟交换机上面，给 OP 添加 1 个虚拟网卡进去，将这个虚拟网卡和直通网口的 LAN 口，一起放到一个 br-lan 里面；
2 、trueNAS 也添加一个虚拟网口；
3 、这样正常情况下，可以通过直通给 OP 的网口，访问到 PVE 主机本身和 trueNAT 。
4 、OP 断网时，可以直插没有直通的物理口管理 NAS 以及 trueNAS;
5 、虚拟交换机，你可以理解为插了 “未直通网口”、“OP 虚拟口”，、“trueNAS 虚拟口”，“PVE 管理虚拟口”。
原理是 op 使用的虚拟口和物理 lan 口在 op 的 br-lan 下，属于一个二层，同时，op 这个虚拟口是“插在” “虚拟交换机”上的，同时插在这个“虚拟交换机”上的还有 PVE 管理口和 trueNAS 网口，所以同属于一个二层环境。
以上是基于 ESXI 用法，PVE 没玩过不太清楚，至于性能的话，主要是看 CPU 了，CPU 强点，跑满线速 G 口问题不大。

[Shir0k0]

@txydhr 不是说 13/14 代嘛，怎么又成 10/11 代了。
@badgv 感谢，不过 ESXi 能实现的 PVE 应该也差不多，我一开始也想用 ESXi ，但是个人免费版的 ESXi 已经 EOGA 了，万恶的博通。

[txydhr]

@Shir0k0 你记错了，虚拟机有 bug 的是 10 代 11 代

[shao]

我的 PVE ，挂了 OpenWrt 和 Debian12 （跑 docker ），刚刚去看了一下设置。
PVE 也是 4 网口，其中 OpenWrt 直通 2 个网卡 pci ，WAN 和 LAN 。
PVE 把其他 2 网口分别做两个 vmbr0/1 两个网桥，Debian12 也连 vmbr0 网桥。
物理连接，PVE-OpenWrt-WAN-光猫，PVE-OpenWrt-LAN-交换机，PVE-vmbr0-交换机。

你的 TrueNAS 参考 我的 Debian12 的连接方式即可。

[strongcoder]

我 J3455 还 PVE 底层 上面搞个 DSM LEDE 呢 性能足够只管干

[Shir0k0]

@shao 万分感谢如此详细的教程！希望能在国庆之前搞好。

[shao]

@Shir0k0 #15 其实以前 PVE OpenWrt 用 vmbr 网卡，也正常使用，有一次看了网上评论瞎折腾才换成了 pci 直通网卡。

实际使用没区别，PVE 是 J4105 。

[lanwairen123]

没用直通网卡，两个 vmbr ，一个 wan ，3 个 lan ，很稳定，没遇到性能瓶颈，感觉没必要直通，增加网络复杂性，该 boom 时照样 boom ，PVE J4125

[guanzhangzhang]

pve 的网桥配置 ip 就可以了，然后 pve 的管理页面默认 bind 0.0.0.0 ，连这个 ip 就行了

[bobryjosin]

@txydhr 11 代 n5105 和 n6000 这几个吧，这俩我试过确实是有问题的，更新 bios 和微码，虚拟机还是会不定时重启死机，Core 系列是没有问题，10 代 i5 10400 我这都用了快 2 年多了，也没遇到什么问题

[nbweb]

跟我的差不多，四口小主机，安装的是 esxi ，口 1 当 esxi 的管理口，也是虚拟交换机。2/3/4 直通给 openwrt ，2 口当 wan ，其它当 lan 。

虚拟了一个 debian ，接虚拟交换机那个网卡。