本文首发于 Nebula Graph 官网:https://nebula-graph.com.cn/posts/how-to-deploy-nebula-graph-in-kubernetes/
Kubernetes 是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes 的目标是让部署容器化的应用简单并且高效,Kubernetes 提供了应用部署,规划,更新,维护的一种机制。
Kubernetes 在设计结构上定义了一系列的构建模块,其目的是为了提供一个可以部署、维护和扩展应用程序的机制,组成 Kubernetes 的组件设计理念为松耦合和可扩展的,这样可以使之满足多种不同的工作负载。可扩展性在很大程度上由 Kubernetes API 提供,此 API 主要被作为扩展的内部组件以及 Kubernetes 上运行的容器来使用。
Kubernetes 主要由以下几个核心组件组成:
etcd
保存了整个集群的状态kube-apiserver
提供了资源操作的唯一入口,并提供认证、授权、访问控制、API 注册和发现等机制kube-controller-manager
负责维护集群的状态,比如故障检测、自动扩展、滚动更新等kube-scheduler
负责资源的调度,按照预定的调度策略将 Pod 调度到相应的机器上kubelet
负责维护容器的生命周期,同时也负责 Volume 和网络的管理kube-proxy
负责为 Service 提供 cluster 内部的服务发现和负载均衡数据库容器化是最近的一大热点,那么 Kubernetes 能为数据库带来什么好处呢?
目前很多数据库,如:MySQL,MongoDB 和 TiDB 在 Kubernetes 集群中都能运行良好。
Nebula Graph 是一个分布式的开源图数据库,主要组件有:Query Engine 的 graphd,数据存储的 storaged,和元数据的 meted 。在 Kubernetes 实践过程中,它主要给图数据库 Nebula Graph 带来了以下的好处:
下面来讲解下具体的实践内容。
这里主要罗列下本文部署涉及到的机器、操作系统参数
以下为集群清单
服务器 IP | nebula 实例 | role |
---|---|---|
192.168.0.1 | master | |
192.168.0.2 | graphd, metad-0, storaged-0 | node |
192.168.0.3 | graphd, metad-1, storaged-1 | node |
192.168.0.4 | graphd, metad-2, storaged-2 | node |
Helm 是 Kubernetes 集群上的包管理工,使用 Helm 可以极大地降低使用 Kubernetes 部署应用的门槛。本文不做 Helm 详细介绍,有兴趣的小伙伴可自行阅读《 Helm 入门指南》。
使用下面命令在终端执行即可安装 Helm
$ wget https://get.helm.sh/helm-v3.5.2-linux-amd64.tar.gz
$ tar -zxvf helm/helm-v3.5.2-linux-amd64.tgz
$ mv linux-amd64/helm /usr/bin/helm
执行 helm version
命令即可查看对应的 Helm 版本,以文本为例,以下为输出结果:
version.BuildInfo{Version:"v3.5.2", GitCommit:"167aac70832d3a384f65f9745335e9fb40169dc2", GitTreeState:"dirty", GoVersion:"go1.15.7"}
在每台机器上做如下配置
$ sudo mkdir -p /mnt/disks
$ sudo mkfs.ext4 /dev/diskA
$ sudo mkfs.ext4 /dev/diskB
$ DISKA_UUID=$(blkid -s UUID -o value /dev/diskA)
$ DISKB_UUID=$(blkid -s UUID -o value /dev/diskB)
$ sudo mkdir /mnt/disks/$DISKA_UUID
$ sudo mkdir /mnt/disks/$DISKB_UUID
$ sudo mount -t ext4 /dev/diskA /mnt/disks/$DISKA_UUID
$ sudo mount -t ext4 /dev/diskB /mnt/disks/$DISKB_UUID
$ echo UUID=`sudo blkid -s UUID -o value /dev/diskA` /mnt/disks/$DISKA_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab
$ echo UUID=`sudo blkid -s UUID -o value /dev/diskB` /mnt/disks/$DISKB_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab
$ curl https://github.com/kubernetes-sigs/sig-storage-local-static-provisioner/archive/v2.4.0.zip
$ unzip v2.4.0.zip
修改 v2.4.0/helm/provisioner/values.yaml
classes 部分:
hostDir: /mnt/fast-disks
改成 hostDir: /mnt/disks
,# storageClass: true
改成 storageClass: true
。然后执行:$ helm install local-static-provisioner --namespace default sig-storage-local-static-provisioner/helm/provisioner
# 查看 local-static-provisioner 部署情况
$ helm list
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
local-volume-provisioner default 1 2021-02-10 11:06:34.3540341 +0800 CST deployed provisioner-2.4.0 2.4.0
# 下载 nebula chart
$ helm repo add nebula-charts https://vesoft-inc.github.io/nebula-docker-compose
$ helm pull nebula-charts/nebula
$ tar -zxvf nebula-v2.0.0.tgz
下面是 Kubernetes 节点列表,我们需要设置 node 节点的调度标签。可以将 192.168.0.2_,_192.168.0.3_,_192.168.0.4 打上 nebula: "cloud"
的标签。
服务器 IP | kubernetes roles | nodeName |
---|---|---|
192.168.0.1 | master | 192.168.0.1 |
192.168.0.2 | node | 192.168.0.2 |
192.168.0.3 | node | 192.168.0.3 |
192.168.0.4 | node | 192.168.0.4 |
具体操作如下:
$ kubectl label node 192.168.0.2 nebula="cloud" --overwrite
$ kubectl label node 192.168.0.3 nebula="cloud" --overwrite
$ kubectl label node 192.168.0.4 nebula="cloud" --overwrite
nebula helm chart 目录如下:
nebula
├── Chart.yaml
├── README.md
├── templates
│ ├── configmap.yaml
│ ├── deployment.yaml
│ ├── _helpers.tpl
│ ├── NOTES.txt
│ ├── pdb.yaml
│ ├── serviceaccount.yaml
│ ├── service.yaml
│ └── statefulset.yaml
└── values.yaml
1 directory, 11 files
可以根据运行环境需求修改 charts/nebula/values.yaml
里面的默认值
$ helm install nebula charts/nebula
# 查看部署状态
$ helm status nebula
NAME: nebula
LAST DEPLOYED: Fri Feb 19 12:58:16 2021
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Nebula Graph Cluster installed!
1. Watch all containers come up.
$ kubectl get pods --namespace=default -l app.kubernetes.io=nebula -w
# 查看 K8s 集群上 nebula 部署情况
$ kubectl get pods --namespace=default -l app.kubernetes.io=nebula
NAME READY STATUS RESTARTS AGE
nebula-graphd-676cfcf797-4q7mk 1/1 Running 0 6m
nebula-graphd-676cfcf797-whwqp 1/1 Running 0 6m
nebula-graphd-676cfcf797-zn5l6 1/1 Running 0 6m
nebula-metad-0 1/1 Running 0 6m
nebula-metad-1 1/1 Running 0 6m
nebula-metad-2 1/1 Running 0 6m
nebula-storaged-0 1/1 Running 0 6m
nebula-storaged-1 1/1 Running 0 6m
nebula-storaged-2 1/1 Running 0 6m
$ kubectl get service nebula-graphd
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
nebula-graphd NodePort 10.105.47.116 <none> 9669:31646/TCP,19669:30554/TCP,19670:32386/TCP 22m
# 使用 nebula-console 测试
$ docker run --rm -ti --entrypoint=/bin/sh vesoft/nebula-console:v2-nightly
# 通过 NodePort 连接到 graphd 组件
/ $ nebula-console -addr 192.168.0.4 -port 31646 -u root -p vesoft
2021/02/19 05:04:55 [INFO] connection pool is initialized successfully
Welcome to Nebula Graph v2.0.0-rc1!
(root@nebula) [(none)]> show hosts;
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| Host | Port | Status | Leader count | Leader distribution | Partition distribution |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-0.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0 | "No valid partition" | "No valid partition" |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-1.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0 | "No valid partition" | "No valid partition" |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-2.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0 | "No valid partition" | "No valid partition" |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "Total" | | | 0 | | |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
Got 4 rows (time spent 2608/4258 us)
如何搭建一套 Kubernetes 集群?
搭建高可用的 Kubernetes 可以参考社区文档:https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/
如何调整 nebula 集群的部署参数?
在使用 helm install 时,使用 --set 可以设置部署参数,从而覆盖掉 helm chart 中 values.yaml 中的变量。参考文档:https://helm.sh/docs/intro/using_helm/
能否兼容 nebula v1.0.0+ 集群部署?
v1.0.0+ 不支持内部域名解析,需要修改 charts/nebula/values.yaml
,配置如下:
hostNetwork: true
metadEndpoints: []
- 192.168.0.2:9559
- 192.168.0.3:9559
- 192.168.0.4:9559
如何在 K8s 集群外部访问 nebula 内部组件?
本文使用 NodePort 的方式访问 graphd 组件,其他的访问方式还有 hostPort 、hostNetwork 、Ingress 、LoadBalancer,需要您根据实际的部署环境来定制。
如何查看 nebula 集群状况?
使用 kubectl get pods --namespace=default -l app.kubernetes.io=nebula
命令,或者直接在 Kubernetes dashboard 上查看 nebula 集群的运行状况。
如何使用其他类型的存储?
参考文档:https://kubernetes.io/zh/docs/concepts/storage/storage-classes/
1
pythonee 2021-11-23 21:04:49 +08:00
图数据库现在主要的应用场景有哪些呀?
|
2
NebulaGraph OP @pythonee 比较常见的是风控、反欺诈、推荐,也有用来做数据治理、函数关系调用之类。
|