公司最近的新应用,后台本来是微服务架构,现在领导看到了 docker 和 k8s,要把现有服务器全交给 k8s 来管理编排,其实后台服务还好,不管是现在的微服务还是以前的应用,都可以用 k8s 和 docker 很好的部署应用,不过现在要把所有服务都用 k8s 来管理,我这边现有的 cdh 集群,ES 集群,spark 工程和 flink 工程全部要容器化,想问这样真的好吗? 感觉会出问题,现在运维懂点 k8s,但不懂大数据的东西,我知道大数据的东西,但对 k8s 不太了解,现在领导要全员学 k8s,我只知道一些常用命令,但感觉远远不够,如果后面出问题,解决起来感觉很麻烦,请问有这样用 k8s 和 docker 来管理所有包括大数据服务的吗?
1
xdays 2020-04-30 10:32:15 +08:00
用 k8s 管理有状态的服务,现在有 statefulset,但是我还是觉得比较激进。
|
2
rrfeng 2020-04-30 10:34:07 +08:00
最简单的办法,去 hadoop 官方看有无解决方案。没有就别搞。
因为 hadoop 是一个生态,包含很多组件的,要解决大量的配置问题,不是说不能,而是一般场景下你们搞不定。 |
3
TinyKube 2020-04-30 10:53:46 +08:00 via Android
用 Helm 装一下,看看需要什么依赖,有状态服务对存储卷要求比较高
|
4
buliugu 2020-04-30 11:18:45 +08:00
知乎有人测评大约有 30%的性能损失 https://zhuanlan.zhihu.com/p/52556754
|
5
hantsy 2020-04-30 11:22:50 +08:00 1
不用 Docker,K8s 还叫微服务?容器化基本是微服务不可缺少一部分。
|
6
zcl0621 2020-04-30 12:17:13 +08:00
hadoop 上 k8s 坑比较多, 之前弄过一个 30 个节点的 hadoop,前前后后接近 1 一个月时间服务才稳定
|
7
artandlol 2020-04-30 12:18:55 +08:00 via Android
一年前就想搞了,但是,不想踩坑
|
8
p2pCoder 2020-04-30 14:07:25 +08:00
大数数据存储 计算引擎 调度,这些东西有很多底层的东西,上容器坑很多,没有完善的开源解决方案
大数据存储直接上容器,没了解业内大厂有这样做过的 但是计算引擎比如 spark flink tensorflow openmpi 转向 k8s 已经是很多大厂再做的了,不过都是挺大的团队一路踩坑过来的 容器还是有很多坑的,之前推荐引擎服务上 k8s+docker,前后搞了好几个月,目前仍有一些 NN 模型在容器中跑有问题 |
9
luckyrayyy 2020-04-30 14:14:16 +08:00
计算存储好分离吗?
|
10
CoderGeek 2020-04-30 14:18:11 +08:00
只能说坑不少 除非有玩的明白的运维人员 要不维护头大
|
11
Beebird 2020-04-30 14:44:03 +08:00 1
存储很重的服务,上 kubernetes 还是不太好。我觉得首先得破除一个迷思,就是认为容器化程度越高越好。就算一定要容器化,也不一定非要放进 k8s 里。对 hadoop 来说,无论是 k8s 的 HostPath 还是 PersistentVolume,都“太灵活”了,反而增加了管理维护的成本。
|
12
kebyn 2020-04-30 17:52:13 +08:00
除了 hadoop 暂时没有原生的解决方案以外,但是官方出了另外的云原生替代器 hadoop-ozone
spark2.3 后已经有官方支持,处于 experimental 阶段 https://spark.apache.org/docs/latest/running-on-kubernetes.html flink1.10 也已经有官方支持,也处于 experimental 阶段 https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/deployment/native_kubernetes.html ES 有生产级别官方支持方案 |
13
pmx1990 2020-04-30 18:34:03 +08:00 via iPad
存储不太好解决,除此之外都 OK
|