看看大佬们的个人 K8S 集群以及存储方案

[Cola98]

小弟搭建了一个三节点 K8S 集群，master 节点是 4C8G node 节点都是 2C4G ，目前在集群上跑着 cilium,prometheus,后期打算跑 kafka/redis/es 等等中间件，但是奈何配置问题，存储一直是一个问题，之前使用 openEBS 体验还行，后来换成 rook 后配置似乎跟不上了，请教各位大佬的存储方案都有些啥

[CodeWind]

乞丐版路过。先说背景，目前是腾讯云三台轻量，Master 2H4G ，Node 一台 4H4G ，一台 2H4G ，Master 挂载一块 100G 轻量云硬盘，使用 NFS 给 K3S 集群使用。
计划通过 Alist 来挂载三方存储(主要是阿里云盘)，定期将本地 hostpath 的存储文件转移到 Alist 挂载的三方存储里。

[tftk]

个人搞个集群使用场景是啥呢

[wxw752]

@tftk 对于我来说就是模拟实战，不会就没法在公司用。

[optional]

klafka/es/redis ，这些本身支持分布式部署，可以直接用 local storage 获取性能提升。

[Cola98]

@optional ok 之前没有注意到这点，一直都是 CSI 这种，感谢大佬

[Cola98]

@CodeWind 了解，我看 hostpath 好像发生调度之后就会使用不了，所以就没考虑过 hostpath

[Cola98]

@tftk 和楼下大哥一样，主要是个人学习和开发～

[levelworm]

@wxw752 我也准备自学一下，搞了台二手 32gb 内存 2T 硬盘的乞丐服务器，不知道能不能用。。。

[ysicing]

搞了 3 套 k3s 集群，国内两套，香港一套，反正都在吃灰。
国内跑主要服务，其中一套用腾讯云 cfs 基于 nfs ，另外一套基于某个节点做的 nfs
香港跑的 web 服务没有持久化，即使有丢弃也没事 empty 方式

目前体验还行，除了 prometheus 需要控制一下，其他都还行。

[Actrace]

怎么说呢，这个时间节点，我觉得 k8s 可能撑不久了。
毕竟 OpenAI 出来之后，只需要把服务器交给它管理就行了。

[lhx2008]

真到了生产其实也不建议搞数据库，维护很困难

[lhx2008]

本地存储，阿里有开源一套本地盘做的还不错，用的 LVM ，不怕困难也可以 Longhorn

[sniperking1234]

@Actrace 出了问题怎么办，调试 AI 源码？

[echo1937]

@Actrace #10 你说的那是<流浪地球 2>当中的智能量子计算机 550 系列。

[hhjswf]

@CodeWind 单 master 也能算集群吗

[liuhan907]

我是用二手 r730 + k0s 搭建的集群。本身带副本的服务就直接用 openebs 的 local 存储，不带的则是用 NFS 接 TrueNAS 共享出来的存储。反正个人用，也不在乎 HA 啥的，NFS 够用了。Rook 那玩意太吃配置了，ceph 本身三主+三副本就需要六节点，还有 k8s 自己的资源消耗。

[securityCoding]

公司配了 16u32g 测试服务器，几乎没用过，jetbrains gateway 太废物了

[NXzCH8fP20468ML5]

通通都扔到 s3 上，计算和存储分离

[yzld2002]

用黑群晖跑了 https://github.com/SynologyOpenSource/synology-csi

[idblife]

@securityCoding
vscode ssh remote

[leaflxh]

nfs 或者 minio

[Cola98]

@liuhan907 确实，rook 对于我目前的配置还是太大了

[hzfyjgw]

local-path-provisioner 的 local-path-storage

[securityCoding]

@idblife 试了好几次用不习惯，全家桶太香了

[Cola98]

后续来了，最后还是选择用 openEBS hostpath 的方法，使用简单，之前用过 lvm 的方式，需要在每个节点上配置比较麻烦，还有一些其他的 CSI 还没测试过，比如 juiceFS 等等，有机会了打算在继续尝试下，感谢各位大佬的回复！

[vhwwls]

裸考过了 CKA 的运维路过。。。。第一次听说个人还搞个 K8s 用的，我是一直在笔记本上跑集群
https://ppt.cc/fayiex

[root01]

@vhwwls 求分享笔记

[sampeng]

个人搞 k8s 实在想不出有什么价值。。。

[Cola98]

@sampeng 自己开发和学习用= =

[zhujq]

自己用还是不要用 rook ，ceph 了吧，除了耗资源想不出其他好处

[Cola98]

@zhujq 是的，现在用了 openEBS

[pmx1990]

重要数据 local + 主从

[vhwwls]

@root01 #27 没做什么笔记，就凭平时自己在公司用的那些东西直接去考了。不过如果你要笔记的话 B 站上应该有很多可以去看看

[runzhliu]

这个节点的配置，想跑这么多组件，感觉是够呛的了

[Cola98]

@runzhliu 嗯嗯，后续不打算使用 es 了，太占用资源了

[njmaojing]

@Cola98 openEBS local 方式这段时间用的咋样啊，坑多么

[Cola98]

@njmaojing 还行，就是需要注意漂移问题

[njmaojing]

其实我觉得吧，既然要部署 mysql ，es 啥的，要么虚拟机部署，要不就静态 POD 方式，用分布式存储如果出问题解决起来就比较蛋疼了

[Cola98]

@njmaojing 确实，这个问题还是比较难解决了，k8s 好处就是部署比较简单，使用起来方便；但是出了问题就不好维护，需要懂 K8S 和相关中间件