如果有多个广播域的话，可以考虑用 metallb 的 bgp 模式，或者可以考虑我之前帖子里的方案，不过我还没做过实践

https://www.v2ex.com/t/712649

如果在同一内网，没有多个广播域的话可以考虑套个 L2 metallb，给不同 service 分配独立固定的 loadbalancerIP 和 port，这样内网直接访问这些虚拟 IP （由 metallb 通告 arp ）或者用路由器加几条 host 指向这些 IP

@menyakun 我的想法正好是反过来，用 kubernetes 和 BGP 控制物理网络实现 VPC，加上一定的人工隔离

@allenyang89 第一段应该是 values diff 不是 manifest diff

@allenyang89 看着挺好，功能很全，manifest diff 也有，感觉很适合个人使用。

反正没什么事，我就展开说说吧

我理解的网页管理模式都是比较适合第三方无状态应用的部署，可能是因为我比较懒，觉得自己维护一套私有 chart 就很累了，还要搞发布就太麻烦了 XD

另外如果想实践 gitops，网页管理就显得不够透明或者需要定制化 api，就导致了 vendor lockin （比如像 rancher 专门出了个 fleet 号称可以对接百万级 gitops ），但问题是明明可以直接通过 gitlab 跑 kubectl + oidc plugin 直接 apply 的，现在还要走通一套 oauth api 适配接口就很麻烦，可能还是因为我比较懒吧。

有没有坑看自己的判断，如 @anubu 所说，首次部署和后续更新存在差异，理想情况是有工具能自动 resolve 版本更新和当前集群状态的差异，不能 resolve 的时候提供 diff view 让用户决策，我觉得只有能做到这个才是一个没有坑的工具，但目前看来 kubeapps 提供的 diff 仅限于 values 变更而不是实际 manifest 状态变更？

感谢你提供这么好的思考素材，让我能找到解决我目前部署痛点的方向，也就是搞一套 diff 流程自动提交 pr 对比当前集群 manifest 和新 manifest，review 过后提交 apply 。

@jeffreystoke 上面的 python 的例子不是很好，可以看 go 的

@whileFalse 拿我自己的项目举个例子，所有项目都基于一样的基础镜像 https://github.com/arhat-dev/dockerfile

然后用的时候每个项目只需要根据需要预置或提供 build-args，https://github.com/arhat-dev/template-application-python/blob/master/cicd/docker/linux.dockerfile

统一 maven 构建也是一样的

@whileFalse 如果只需要替换镜像可以用 kubectl set 直接修改镜像。

构建镜像要么做好规范，统一基础镜像和构建流程，要求开发合规，还可以配合 buildpacks，bazel 之类的，要么就是没有规范一堆配置和脚本。

@anubu 首次部署和后续更新确实是个痛点，我也在想又没有好的方案适配，目前还是依赖 heml template + kubectl apply --record 方便回滚，但还是会遇到 chart 更新，label 无法自动 override 而需要手动操作的情况，可能能通过 kubectl 插件实现自动化

另外虽然不是本帖重点，但是我的进一步包装是为了结构化记录集群里的所有部署，确定版本，namespace，fullname，values，extra manifest，然后通过 gitlab 之类规定只能由 pr 创建部署更改，强制 review 所有 manifest change，相当于 helm 数据库存在了一个 git repo 里，这样 chart 升级的时候就能很方便地修改 values，并且清楚地看到 manifest 变更内容，集群迁移的时候也只需要克隆一份 repo 做修改。

@whileFalse 不太理解你的问题，也不清楚你对这两个概念的认识，但是一般来说 helm 就是生成 manifest 来，这些 manifest 通常会把构建好的镜像最终以 pod 的形式部署到 kubernetes 里面

@bing0 这种只需要 ibgp 加私有 asn 吧，而且可以用开源的 frr 或者 bird，云端部署两三个 route reflector 用 vpn 连接我觉得成本并不高，成本最大的应该是带宽传输，也是这个想法里要解决的数据平面的问题

建了一个 tg 群，欢迎有兴趣的加群交流

https://t.me/joinchat/NujpBBvKww_4aSVzKGsO6Q

@labulaka521 gh 同名可以找到我的邮箱，或者建个 tg 群？

@ericbize 这是 dc 的价格吧，但是如果说一个月只跑 1G，那 1M 的 mpls-vpn 不仅稳定，价格还更低。。而且代码，素材，数据库备份同步可能几天就有 1G 流量吧，不用说还有 voip，视频会议之类的。

@labulaka521 好啊，想法多一点不是坏事，不过我这只是个不成熟的想法，还没有实际去做的打算😂

@ericbize 拉光纤买带宽不应该比 mpls-vpn 还贵吗？云原生不应该追求最低成本啊😂

@tkl 就是要 Kubernetes 控制网络啊，充分利用 calico 的 BGP 和 network policy，为什么还要自己搞一个控制面，你是说的数据面？

@Sunmxt 我也是半吊子而已, 感觉要做的东西还是有点相似的, 有机会可以交流一下 XD

@Sunmxt 你说的没错, 不过我现在还不太能理清我的想法, 目前看来我应该是要一个类似 network service mesh 的解决方案. 当然之前我只是提供我觉得可能有用的建议, 如有冒犯还请见谅.