撇开技术，时间和精力也是很重要的资源。 最优平衡是：把钱花到自己能承担的且不受影响的最高，以换取时间和精力的平衡性。
如果是我：
1. 服务器+企业级硬盘（ SAS ）+raid10
2. 买 NAS ，一体式 nas 的最大优势是省钱省时间省精力。
3. 存算分离，纯 nas 为啥要存算分离？ 普通 nas+docker 可以满足较多低敏感业务，如果是要高性能可靠性的计算存储分离： 买存储服务器+HBA/SAN
4. 建议提升单盘容量的方法： 一步到位买大点。

数据无价，这个有两方面的解读：
1. 当你数据丢失后你发现，数据也没有那么重要
2. 当你数据丢失后，你发现数据太 tm 重要了

如果是 2 ，该花的钱还是得花，要不然企业花冤大头的钱买 SAS 干啥？

cpu 约等于阉割。

>vmwre 可以直原生接拉 k8s 并具备虚拟化的 cni,需要了解 NSX ，DRS ，VMotion 等相关层，对基本原理和相关技能要求很高。
https://docs.vmware.com/tw/VMware-vSphere/8.0/rn/vmware-vsphere-with-tanzu-80-release-notes/index.html


>容器化部署和二进制部署，是不是二进制部署会更加可靠
我认为是的，套娃只会增加不可靠性，取决于你是玩还是生产，生产建议 3master 以上+二进制，私有云方面见过阿里云小飞天（非完整），ack 相关套件 master 那几个核心组件也是二进制部署的

看 op 似乎是非大规模生产集群
kubeadm 一把梭，不管是升级，改配置，更新证书都方便。

@fan88
完全通过稳定可靠的物理线路，花费几乎是数万每月，除了商用基本没可能。
完全通过技术，不花钱靠着各种神仙技巧在千军万马过独木桥中从普通出口获得优势，这也行不通，获得的几乎是暴力 qos ，而且也不安全。

其实最完美的方案 @wangyucn 大神在 #12 已经给出来了：
1. 选一条尚可的线路：比如 iplc nat ，通过 udp2raw 套上 faketcp ，抵抗 isp 的 qos ，然后再套上 udpspeeder 通过 fec 基本可以抵消高峰时间跳 ping 丢包，高峰期的简单 qos 同时在高峰期共享带宽不足抢带宽上获得优势，基本就已经达到了完美的效果，非常平衡，而且可以根据线路优化参数获得更好的延迟/带宽/流量消耗。

我之前的方案是：某影机场 vip5+proxy-chain 落地机，兼顾安全性和链路性能，但是代价是延迟高，稳定性也不能保障，即使是很贵的机场也总有不稳定的情况

@wangyucn 不知道理解对不对
按照出口带宽的现象推测：普通 ip 标准出口的带宽资源是有限的，除了 vip 线路其他共享一个带宽池，在超售带宽的前提下选择性丢包。 hy2 这类的拥塞协议应该是通过多倍发包策略获得更多机会也别再大流量下有更好的表现

udp qos 或者掐断应该是面向墙内一些 isp 自己的策略，推测是防止 udp 反射之类的 ddos 流量

套壳大概总结：
1. 选个稳定线路，通过 faketcp 避免 udp qos
2. 选个不稳定线路通过 udp over quic 等自带拥协议的用激进流控策略获得低延迟+大流量稳定性。

@wangyucn #6 感谢大神，听上去最佳时间似乎是：
找个 cn2gie/9939/iplc 的跳板，然后用 udp2raw faketcp/auth-none/cipe-none 用来避免 isp 的 qos

如果直连 faketcp 普通 ip 走 chinanet 即使是 tcp 还有通常无差别暴力丢包，和 tcp qos

@MFWT 求教 wg 流量如何套在 ss 中？ 大部分机场没有 udp 线路？

@davin 同求个 感谢 eHlqa3h6QGdtYWlsLmNvbQ==

有了 chatgpt 后转语言难度直线下跌。

不管是 c++还是 rust ，不懂就看看源码
多写，多趟几个坑，就熟悉了。

前提还是基本功打好。

今年的 m3 pro 被阉割过了
内存位宽疑似阉割至 64bit （通道总带宽 150G ） m2 pro 200G
且核架构是 m3 标准版的架构

这代 m3 得买 max 64G ， 否则 m1 max / m2 max

就是因为经常有人讨论，加 const 是不是最佳实践
才会出现 rust 这种完全不信任程序员的语言。。。

@Evovil 看错题目了 ，你说的是 k8s-egress ？

直接访问 node2 3 ，其他的 node 不对外暴露不就行了吗？ svc 会自己路由到其他 node 。

实践是最好的学习和进阶的方法

"比较想进阶的方向就是内核方向，还有 GCC ，Make 之类的。 虽然目前来说有最基本的排障能力但是太弱了。 很多问题都排查得很浅显。"

看表述是想精进内核和原理相关，看上面的表述就基本运维水准（可能都没到）。。

要想对 linux 有深度理解，还是写程序吧。
先在 linux 下写一点用户态程序，摸清楚基本的 api ，posix 接口，网络，文件操作 IO 之类的
再进阶就是内核相关的，写一点驱动之类的。

自己不写，光看，看完就忘。。
在实际使用中遇到什么再去看什么，当需要研究网络相关就去看 TCP/IP 卷 1234 ，有驱动需求可以看 unix 环境高级编程之类的，也可以看源码解决问题，把问题解决了才会收获知识。

你要系统学习，数据结构，计算机原理，算法开始看起来，当然你会问这些问题，肯定默认你不会看的完这些了。从实践开始吧，先培养兴趣，获得成就感。

杭州高德，上海百度。

bHVoZW5nc3dAZ21haWwuY29t

@SoFarSoGood VyOS 是全靠 CLI 操作吗？ 最近发现 mikrotik 越来越不稳定正在准备换个 router ， 官网的 Legacy 1.29LTS 是很久以前的了吗？ 是不是得找个外网机器 build 是最好的方案？

各地有散落的本地服务器：
如果都有固定 ip 那么 wireguard 是最佳选择
如果没有固定 ip ，云服务器带宽足够，wireguard 是最好的选择。
wg 速度快性能好，内核兼容。前提是云服务器需要中转流量。运维方便。

如果需要服务器点对点连最大化利用带宽，服务器数量不多的情况下可以互相建立 wg 隧道，然后服务器用 ospf 等协议广播路由表，还能自动故障切换。

如果嫌麻烦 zerotier ，tailscale ，tinc 可以尝试

如果不需要 route subnet 直接用 wgip 访问即可，nat 都不需要。

如果遇到运营商 qos （ udp ） 可以套 udp2raw 或者 phantun （手动点对点）