Kubernetes部署Nebula图数据库集群
本文首发于 Nebula Graph 官网：https://nebula-graph.com.cn/posts/how-to-deploy-nebula-graph-in-kubernetes/Kubernetes 是什么Kubernetes 是一个开源的，用于管理云平台中多个主机上的容器化的应用，
本文首发于 Nebula Graph 官网：https://nebula-graph.com.cn/posts/how-to-deploy-nebula-graph-in-kubernetes/
Kubernetes 是什么
Kubernetes 是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes 的目标是让部署容器化的应用简单并且高效，Kubernetes 提供了应用部署，规划，更新，维护的一种机制。
Kubernetes在设计结构上精心定义了一系列构建模块，其目的在于提供一种能够部署、维护以及扩展应用程序的机制。组成Kubernetes的各个组件，其设计理念秉持着松耦合与可扩展的原则，如此一来，便能满足多样化的工作负载需求。而可扩展性在很大程度上是由Kubernetes API所赋予的，该API主要被用作扩展的内部组件以及在Kubernetes上运行的容器。
Kubernetes 主要由以下几个核心组件组成：
etcd保存了整个集群的状态kube-apiserver提供了资源操作的唯一入口，并提供认证、授权、访问控制、API 注册和发现等机制kube-controller-manager负责维护集群的状态，比如故障检测、自动扩展、滚动更新等kube-scheduler负责资源的调度，按照预定的调度策略将Pod调度到相应的机器上kubelet负责维护容器的生命周期，同时也负责 Volume和网络的管理kube-proxy负责为 Service 提供 cluster 内部的服务发现和负载均衡
Kubernetes 和数据库
数据库容器化是最近的一大热点，那么 Kubernetes 能为数据库带来什么好处呢？
- 故障恢复：Kubernetes 提供故障恢复的功能，数据库应用如果宕掉，Kubernetes 可以将其自动重启，或者将数据库实例迁移到集群中其他节点上
- 存储管理：Kubernetes 提供了丰富的存储接入方案，数据库应用能透明地使用不同类型的存储系统
- 负载均衡：Kubernetes Service 提供负载均衡功能，能将外部访问均衡到不同的数据库实例副本上
- 水平拓展：Kubernetes 可以根据当前数据库集群的资源利用率情况，缩放副本数目，从而提升资源的利用率
目前很多数据库，如：MySQL，MongoDB 和 TiDB 在 Kubernetes 集群中都能运行良好。
Nebula Graph 在 Kubernetes 中的实践
Nebula Graph是一款分布式的开源图数据库，主要由三部分组成：负责查询引擎的graphd、负责数据存储的storaged，以及负责管理元数据的meted。在Kubernetes实践中，它为图数据库Nebula Graph带来了以下好处：
- Kubernetes 能均衡 nebula graphd，metad 和 storaged 不同副本之间的负载。graphd，metad 和 storaged 可以通过 Kubernetes 的域名服务自动发现彼此。
- 通过 StorageClass，PVC 和 PV 可以屏蔽底层存储细节，无论使用本地卷还是云盘，Kubernetes 均可以透明对接。
- 通过 Kubernetes 可以在数秒内成功部署一套 Nebula 集群，Kubernetes 也可以无感知地实现 Nebula 集群的升级。
- Nebula 集群通过 Kubernetes 可以做到自我恢复，单体副本 crash，Kubernetes 可以重新将其拉起，无需运维人员介入。
- Kubernetes 可以根据当前 Nebula 集群的资源利用率情况弹性伸缩集群规模，从而提升集群的性能。
下面来讲解下具体的实践内容。
集群部署
硬件和软件要求
这里主要罗列下本文部署涉及到的机器、操作系统参数
- 操作系统使用的 CentOS-7.6.1810 x86_64
- 虚拟机配置
- 4 CPU
- 8G 内存
- 50G 系统盘
- 50G 数据盘 A
- 50G 数据盘 B
- Kubernetes 集群版本 v1.14+
- Nebula 版本为 v2.0.0-rc1
- 使用本地 PV 作为数据存储
- CoreDNS 版本 1.6.0+
K8s 集群规划
以下为集群清单
K8s 待部署组件
- 安装 Helm3
- 准备本地磁盘，并安装本地卷插件
- 安装 nebula 集群
安装 Helm3
Helm 是 Kubernetes 集群上的包管理工，使用 Helm 可以极大地降低使用 Kubernetes 部署应用的门槛。本文不做 Helm 详细介绍，有兴趣的小伙伴可自行阅读《Helm 入门指南》。
下载安装 Helm
使用下面命令在终端执行即可安装 Helm
$ wget https://get.helm.sh/helm-v3.5.2-linux-amd64.tar.gz
$ tar -zxvf helm/helm-v3.5.2-linux-amd64.tgz
$ mv linux-amd64/helm /usr/bin/helm查看 Helm 版本
执行 helm version命令即可查看对应的 Helm 版本，以文本为例，以下为输出结果：
version.BuildInfo{Version:"v3.5.2", GitCommit:"167aac70832d3a384f65f9745335e9fb40169dc2", GitTreeState:"dirty", GoVersion:"go1.15.7"}设置本地磁盘
在每台机器上做如下配置
创建 mount 目录
$ sudo mkdir -p /mnt/disks格式化数据盘
$ sudo mkfs.ext4 /dev/diskA
$ sudo mkfs.ext4 /dev/diskB挂载数据盘
$ DISKA_UUID=$(blkid -s UUID -o value /dev/diskA)
$ DISKB_UUID=$(blkid -s UUID -o value /dev/diskB)
$ sudo mkdir /mnt/disks/$DISKA_UUID
$ sudo mkdir /mnt/disks/$DISKB_UUID
$ sudo mount -t ext4 /dev/diskA /mnt/disks/$DISKA_UUID
$ sudo mount -t ext4 /dev/diskB /mnt/disks/$DISKB_UUID
$ echo UUID=`sudo blkid -s UUID -o value /dev/diskA` /mnt/disks/$DISKA_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab
$ echo UUID=`sudo blkid -s UUID -o value /dev/diskB` /mnt/disks/$DISKB_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab部署本地卷插件
$ curl https://github.com/kubernetes-sigs/sig-storage-local-static-provisioner/archive/v2.4.0.zip
$ unzip v2.4.0.zip修改 v2.4.0/helm/provisioner/values.yaml classes 部分：
- 将
hostDir: /mnt/fast-disks改成hostDir: /mnt/disks，# storageClass: true改成storageClass: true。然后执行：
$ helm install local-static-provisioner --namespace default sig-storage-local-static-provisioner/helm/provisioner
# 查看 local-static-provisioner 部署情况
$ helm list
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
local-volume-provisioner default 1 2021-02-10 11:06:34.3540341 +0800 CST deployed provisioner-2.4.0 2.4.0部署 nebula 集群
下载 nebula helm chart
# 下载 nebula chart
$ helm repo add nebula-charts https://vesoft-inc.github.io/nebula-docker-compose
$ helm pull nebula-charts/nebula
$ tar -zxvf nebula-v2.0.0.tgz设置 Kubernetes node节点
下面是 Kubernetes 节点列表，我们需要设置 node 节点的调度标签。可以将 192.168.0.2，192.168.0.3，192.168.0.4打上 nebula: "cloud" 的标签。
具体操作如下：
$ kubectl label node 192.168.0.2 nebula="cloud" --overwrite
$ kubectl label node 192.168.0.3 nebula="cloud" --overwrite
$ kubectl label node 192.168.0.4 nebula="cloud" --overwrite调整 values 默认值
nebula helm chart 目录如下:
nebula
├── Chart.yaml
├── README.md
├── templates
│ ├── configmap.yaml
│ ├── deployment.yaml
│ ├── _helpers.tpl
│ ├── NOTES.txt
│ ├── pdb.yaml
│ ├── serviceaccount.yaml
│ ├── service.yaml
│ └── statefulset.yaml
└── values.yaml
1 directory, 11 files可以根据运行环境需求修改 charts/nebula/values.yaml 里面的默认值
通过 helm 安装 nebula
$ helm install nebula charts/nebula
# 查看部署状态
$ helm status nebula
NAME: nebula
LAST DEPLOYED: Fri Feb 19 12:58:16 2021
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Nebula Graph Cluster installed!
1. Watch all containers come up.
$ kubectl get pods --namespace=default -l app.kubernetes.io=nebula -w
# 查看 K8s 集群上 nebula 部署情况
$ kubectl get pods --namespace=default -l app.kubernetes.io=nebula
NAME READY STATUS RESTARTS AGE
nebula-graphd-676cfcf797-4q7mk 1/1 Running 0 6m
nebula-graphd-676cfcf797-whwqp 1/1 Running 0 6m
nebula-graphd-676cfcf797-zn5l6 1/1 Running 0 6m
nebula-metad-0 1/1 Running 0 6m
nebula-metad-1 1/1 Running 0 6m
nebula-metad-2 1/1 Running 0 6m
nebula-storaged-0 1/1 Running 0 6m
nebula-storaged-1 1/1 Running 0 6m
nebula-storaged-2 1/1 Running 0 6m访问 nebula 集群:
$ kubectl get service nebula-graphd
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
nebula-graphd NodePort 10.105.47.116 9669:31646/TCP,19669:30554/TCP,19670:32386/TCP 22m
# 使用 nebula-console 测试
$ docker run --rm -ti --entrypoint=/bin/sh vesoft/nebula-console:v2-nightly
# 通过 NodePort 连接到 graphd 组件
/ $ nebula-console -addr 192.168.0.4 -port 31646 -u root -p vesoft
2021/02/19 05:04:55 [INFO] connection pool is initialized successfully
Welcome to Nebula Graph v2.0.0-rc1!
(root@nebula) [(none)]> show hosts;
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| Host | Port | Status | Leader count | Leader distribution | Partition distribution |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-0.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0 | "No valid partition" | "No valid partition" |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-1.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0 | "No valid partition" | "No valid partition" |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "nebula-storaged-2.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0 | "No valid partition" | "No valid partition" |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
| "Total" | | | 0 | | |
+---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
Got 4 rows (time spent 2608/4258 us) FAQ
如何搭建一套 Kubernetes 集群？
搭建高可用的 Kubernetes 可以参考社区文档：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-a vailability/
如何调整 nebula 集群的部署参数？
在使用 helm install 时，使用 --set 可以设置部署参数，从而覆盖掉 helm chart 中 values.yaml 中的变量。参考文档：https://helm.sh/docs/intro/using_helm/
能否兼容 nebula v1.0.0+ 集群部署？
v1.0.0+ 不支持内部域名解析，需要修改 charts/nebula/values.yaml，配置如下:
hostNetwork: true
metadEndpoints: []
- 192.168.0.2:9559
- 192.168.0.3:9559
- 192.168.0.4:9559如何在 K8s 集群外部访问 nebula 内部组件？
本文使用 NodePort 的方式访问 graphd 组件，其他的访问方式还有 hostPort、hostNetwork、Ingress、LoadBalancer，需要您根据实际的部署环境来定制。
如何查看 nebula 集群状况？
使用kubectl get pods --namespace=default -l app.kubernetes.io=nebula命令，或者直接在 Kubernetes dashboard 上查看 nebula 集群的运行状况。
如何使用其他类型的存储？
参考文档：https://kubernetes.io/zh/docs/concepts/storage/storage-classes/
推荐阅读
- 分布式图数据库 Nebula Graph 的 Index 实践
- 图数据库 Nebula Graph TTL 特性
不确定该选Windows 10家庭版还是专业版？本文解析两者在远程连接、磁盘加密和虚拟化等方面的实际差异，帮你避开性能误区，根据真实使用场景做出最具性价比的选择。
Win10断电重启后总是自动继续更新怎么办？别强行关机，先等恢复完成。教你用暂停更新、设置活动时间和按流量计费连接，减少更新对工作的打扰。注意Win10支持已终止，长期不更新有风险。
解析Windows 10功能更新与质量更新的区别。说明个人家庭版无法永久单独关闭功能更新，专业版可通过组策略延迟功能升级。提醒用户关注Win10支持终止时间，避免误用禁用服务导致安全风险。
想知道Win10连手机热点时如何避免偷跑流量？只需将热点网络设为“按流量计费的连接”，即可限制Windows Update自动下载非优先更新。本文提供详细界面导览与设置步骤，助你精准控制后台数据消耗。
详解 Windows 11 安装的三种路径风险，指导如何制作官方安装介质、正确进入启动菜单、安全清理磁盘分区以及装后验证激活状态，帮助用户避免数据丢失和安装失败。
想只关闭Win10大版本升级但保留安全补丁？本文区分功能更新与质量更新，详解专业版组策略配置方法，并说明家庭版限制及Win10停止支持后的应对建议。
Win10笔记本外出使用手机热点时，如何防止自动下载更新包消耗流量？本文详解通过设置“按流量计费的连接”和“暂停更新”来精准控制流量，对比传递优化限速效果，并解释为何不应直接禁用Windows Update服务。
想知道Windows 10家庭版和专业版怎么选？本文不聊跑分，只讲远程桌面、磁盘加密和组策略等关键功能的实际差异，帮你判断是否真的需要升级到专业版。
Windows 11 家庭版和专业版在安装步骤上并无本质差异，主要区别在于产品密钥激活和功能解锁。本教程指导你如何检查硬件兼容性、使用官方媒体创建工具制作安装盘，以及在安装过程中正确选择版本。同时解析安装后如何验证激活状态，以及从家庭版升级到专业版的正规路径，确保系统稳定且合规。
除了开始菜单的变化，Windows 11在TPM 2.0安全要求、窗口贴靠布局、驱动兼容性以及系统更新策略上与Windows 10有显著不同。本文详解两者实质差异，助你判断是否值得升级。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。