这是一个创建于 1667 天前的主题，其中的信息可能已经有所发展或是发生改变。
公司最近的新应用，后台本来是微服务架构，现在领导看到了 docker 和 k8s，要把现有服务器全交给 k8s 来管理编排，其实后台服务还好，不管是现在的微服务还是以前的应用，都可以用 k8s 和 docker 很好的部署应用，不过现在要把所有服务都用 k8s 来管理，我这边现有的 cdh 集群，ES 集群，spark 工程和 flink 工程全部要容器化，想问这样真的好吗？ 感觉会出问题，现在运维懂点 k8s，但不懂大数据的东西，我知道大数据的东西，但对 k8s 不太了解，现在领导要全员学 k8s，我只知道一些常用命令，但感觉远远不够，如果后面出问题，解决起来感觉很麻烦，请问有这样用 k8s 和 docker 来管理所有包括大数据服务的吗？
 |
1
xdays 2020-04-30 10:32:15 +08:00
用 k8s 管理有状态的服务，现在有 statefulset，但是我还是觉得比较激进。
|
 |
2
rrfeng 2020-04-30 10:34:07 +08:00
最简单的办法，去 hadoop 官方看有无解决方案。没有就别搞。
因为 hadoop 是一个生态，包含很多组件的，要解决大量的配置问题，不是说不能，而是一般场景下你们搞不定。 |
 |
3
TinyKube 2020-04-30 10:53:46 +08:00 via Android
用 Helm 装一下，看看需要什么依赖，有状态服务对存储卷要求比较高
|
 |
4
buliugu 2020-04-30 11:18:45 +08:00
知乎有人测评大约有 30%的性能损失 https://zhuanlan.zhihu.com/p/52556754
|
 |
5
hantsy 2020-04-30 11:22:50 +08:00  1
不用 Docker，K8s 还叫微服务？容器化基本是微服务不可缺少一部分。
|
 |
6
zcl0621 2020-04-30 12:17:13 +08:00
hadoop 上 k8s 坑比较多, 之前弄过一个 30 个节点的 hadoop,前前后后接近 1 一个月时间服务才稳定
|
 |
7
artandlol 2020-04-30 12:18:55 +08:00 via Android
一年前就想搞了，但是，不想踩坑
|
 |
8
p2pCoder 2020-04-30 14:07:25 +08:00
大数数据存储 计算引擎 调度，这些东西有很多底层的东西，上容器坑很多，没有完善的开源解决方案
大数据存储直接上容器，没了解业内大厂有这样做过的 但是计算引擎比如 spark flink tensorflow openmpi 转向 k8s 已经是很多大厂再做的了，不过都是挺大的团队一路踩坑过来的 容器还是有很多坑的，之前推荐引擎服务上 k8s+docker，前后搞了好几个月，目前仍有一些 NN 模型在容器中跑有问题 |
 |
9
luckyrayyy 2020-04-30 14:14:16 +08:00
计算存储好分离吗？
|
 |
10
CoderGeek 2020-04-30 14:18:11 +08:00
只能说坑不少 除非有玩的明白的运维人员 要不维护头大
|
 |
11
Beebird 2020-04-30 14:44:03 +08:00 1
存储很重的服务，上 kubernetes 还是不太好。我觉得首先得破除一个迷思，就是认为容器化程度越高越好。就算一定要容器化，也不一定非要放进 k8s 里。对 hadoop 来说，无论是 k8s 的 HostPath 还是 PersistentVolume，都“太灵活”了，反而增加了管理维护的成本。
|
 |
12
kebyn 2020-04-30 17:52:13 +08:00
除了 hadoop 暂时没有原生的解决方案以外，但是官方出了另外的云原生替代器 hadoop-ozone
spark2.3 后已经有官方支持，处于 experimental 阶段 https://spark.apache.org/docs/latest/running-on-kubernetes.html flink1.10 也已经有官方支持，也处于 experimental 阶段 https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/deployment/native_kubernetes.html ES 有生产级别官方支持方案 |
 |
13
pmx1990 2020-04-30 18:34:03 +08:00 via iPad
存储不太好解决，除此之外都 OK
|
Select Language