mayooot

@Hyvi 更新了

[gpu-docker-api] ( https://github.com/mayooot/gpu-docker-api) 是一个使用 Golang 调用 Docker Client 创建 GPU 容器、升降容器的 GPU 卡数、扩缩容 Volume 等等。目的是更简单的使用 GPU 容器。

适合不太熟悉 Docker 的 “炼丹侠们”，当然也可以用作出售企业 GPU 算力（以容器的方式）。
更多是提供一个 Demo ，把自己的想法 share 出去。

@mayooot 我的回答是直接截取的一个 Service 下面 3 个 Pod 的 iptables 规则，可能和楼主说的对应不上。看个意思就行吧

假如你的 kube-proxy 模块用的 iptables 模式，然后我尝试回答一下你的疑问。
假设现在一个 Service 下面有 2 个 Pod ，iptables 规则如下：
~~~
-A KUBE-SERVICES -d 10.111.4.1/32 -p tcp -m comment --comment "default/hostnames: cluster IP" -m tcp --dport 80 -j KUBE-SVC-NWV5X2332I4OT4T3
~~~

负载均衡规则和 DNAT 规则如下：
~~~
-A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-WNBA2IHDGP2BOBGZ
-A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-X3P2623AGDH6CDF3


-A KUBE-SEP-WNBA2IHDGP2BOBGZ -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.1.7:9376
-A KUBE-SEP-X3P2623AGDH6CDF3 -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.2.3:9376
~~~

同问，楼主去这个公司了吗

我使用 ipad mini 的情况：早上/晚上洗漱时，用 ipad 咪咪 看会哔哩哔哩或者听歌，吃饭的时候看剧。偶尔看看极客时间，还有 Github 。偶尔用 apple pencil 写写画画。

@xiaozhang1997 谢谢哥们理解，我也没想到有人认为我在炫富，我就一个底层小牛马，给公司跑跑模型。
在 Github 上这个项目还是能帮到一些人的（虽然老外比较多），这样就足够了，😊

@firefox12 GitHub 上已经有封装好的 web 页面，看一下这个帖子，快速启动里的-grok 本地部署那篇文章，里面有讲的。
不需要联网。

@firefox12 你可以理解为一个对话模型和 chatgpt 差不多，你问一个问题它回答你。比如默认是在黑框框（命令行模式）里问问题/回答，如果它有 API ，就能写个 WEB 页面，然后你再浏览器上就能和它对话了，这时候就和 chatgpt 更像了。

不过它和数据库不一样的是，需要的资源要比我们的电脑大的多，就得需要专业的服务器来跑模型了。但是把模型下载到服务器上，然后跑起来，它肯定要依赖环境的，而服务器大部分情况下之前就已经被用过了，比如说 Python 版本是 3 .8 ，但是不凑巧的是这个模型还需要 3.10 ，所以选择用 Docker 容器来打包它的运行时环境（里面有 Python 3.10 ）。

不知道这样解释能否明白一点。