想请一位 K8S 和虚拟机专家来帮帮我, 虚拟机 GPU 容器的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 761 天前的主题，其中的信息可能已经有所发展或是发生改变。

几个要素: WSL, PVE, RKE2, Ubuntu Server, Rancher, CUDA, OpenCL,
想用 Rancher 管理 RKE2 集群, 包括这么几个 nodes/workloads
1. PVE(PCI 直通 HD8570)+Ubuntu/RKE2+MESA/视频推流
2. PVE(PCI 直通 Tesla P4)+Ubuntu/RKE2+CUDA
3. PVE(PCI 直通 Tesla P40)+Ubuntu/RKE2+CUDA
4. PVE(PCI 直通 Tesla K20)+Ubuntu/RKE2+CUDA
5. WSL(Win 驱动 HD6770/Tesla M40)+Ubuntu/RKE2+OpenCL/CUDA
6. WSL(Win 驱动 HD7770/Tesla K20)+Ubuntu/RKE2+OpenCL/CUDA
7. WSL(RTX 2070 主显卡)+Ubuntu/RKE2+OpenCL/CUDA
8. WSL(RTX 3060 主显卡)+Ubuntu/RKE2+OpenCL/CUDA
9. WSL(RTX 3090 主显卡)+Ubuntu/RKE2+OpenCL/CUDA
10. PVE(GTX 1080 主显卡)+Ubuntu/RKE2+OpenCL/CUDA
研究了一下感觉似乎是可以的. 感觉自己心力憔悴, 想请一位牛人出出主意.
出咨询费, 有信心的牛人不用客气, 主要是要解决问题, 具体价格好说.
有想讨论技术的, 直接跟帖也好.

11 条回复 • 2022-12-15 01:40:42 +08:00

ALXG

2022-11-22 17:05:10 +08:00

我是垃圾佬, 不知不觉就捡了这么多垃圾, 实在是想用起来.

tftk

2022-11-22 19:38:06 +08:00

请问怎么联系

ALXG

2022-11-22 21:07:18 +08:00

@tftk d2VjaGF0OiBhbGV4LWdlb21ldHJ5

defunct9

2022-11-23 09:45:39 +08:00

比较麻烦。把各个显卡通过 kvm 放进虚机，然后虚机再搭 docker ，上 k8s 比较好。不喜欢 rancher ，装一大堆乱七八糟的东西

ALXG

2022-11-23 13:34:28 +08:00

@defunct9 如果 runtime 是 docker 的话, RKE 似乎也可以, 主要是我命令行苦手, 解决苦难还行, 日常使用就会特别难受.

defunct9

2022-11-23 14:55:43 +08:00

反之，看见 dashboard 就烦，手撸 k8s 各种 yaml

ALXG

2022-11-24 08:14:24 +08:00

@defunct9 我是记性不太好, 要是没有明显的形状就记不住

senhtry

2022-12-02 09:28:38 +08:00

PVE 可以 passthrough 显卡到虚拟机里面，然后装 nvidia-container-runtime ，然后 rke （ k8s ）用 nvidia 的 device-plugin 来使用 gpu 容器。
PVE 因为是 pci 完全 passthrough 的，驱动这些应该和宿主机的用法差不多，没啥不同。
WSL 应该有点问题，WSL 里面用的是 nv windows 的驱动，在上面使用 ubuntu 的方式来装 nvidia-container-runtime ，应该是有点问题的，不知道能不能直接使用。

ALXG

2022-12-07 01:23:42 +08:00

@senhtry 我看 nv 的文档说 WSL 是可以直接用的 https://docs.nvidia.com/cuda/wsl-user-guide/index.html

senhtry

2022-12-12 09:00:46 +08:00

@ALXG #9 可以看下，我这边没有问题了。如果能在 wsl2 上装 k8s ，那应该问题不大。

ALXG

2022-12-15 01:40:42 +08:00

@senhtry K8S 能装, 这个已经证实了