Kubernetes 中部署 NFS-Subdir-External-Provisioner 为 NFS 提供动态分配卷
文章目录
!版权声明：本博客内容均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。
系统环境:
- 操作系统: CentOS 7.9
- Docker 版本: 19.03.13
- Kubernetes 版本: 1.20.2
- NFS Subdir External Provisioner 版本: v4.0.0
参考地址:
示例地址:
一、什么是 NFS-Subdir-External-Provisioner
存储组件 NFS subdir external provisioner 是一个存储资源自动调配器，它可用将现有的 NFS 服务器通过持久卷声明来支持 Kubernetes 持久卷的动态分配。自动新建的文件夹将被命名为 ${namespace}-${pvcName}-${pvName} ，由三个资源名称拼合而成。
此组件是对 nfs-client-provisioner 的扩展，nfs-client-provisioner 已经不提供更新，且 nfs-client-provisioner 的 Github 仓库已经迁移到 NFS-Subdir-External-Provisioner 的仓库。
二、创建 NFS Server 端
我们先创建 NFS Server 端才能够正常使用 NFS 文件系统，下面介绍下如何在 CentOS 7 系统中安装 NFS Server 的过程。
关闭防火墙
为了方便部署，我们直接将防火墙关闭，可以执行下面命令:
1$ systemctl stop firewalld && systemctl disable firewalld
安装 nfs-utils 和 rpcbind
为了能够正常使用 NFS，我们需要在使用 Kubernetes 集群中的所有服务器上安装以下依赖，命令如下:
1$ yum install -y nfs-utils rpcbind
创建存储数据的文件夹
创建用于共享数据的文件夹，命令如下:
1# 创建文件夹
2$ mkdir /nfs
3
4# 更改归属组与用户
5$ chown -R nfsnobody:nfsnobody /nfs
配置 NFS Server
配置 NFS Server，指定共享文件夹目录以及能够使用共享文件夹的 IP 段，命令如下:
1# 编辑exports
2$ vi /etc/exports
3
4# 输入以下内容(格式：FS共享的目录 NFS客户端地址1(参数1,参数2,...) 客户端地址2(参数1,参数2,...))
5$ /nfs 192.168.2.0/24(rw,async,no_root_squash)
如果设置为
/nfs *(rw,async,no_root_squash)则对所以的IP都有效
- 常用选项：
- ro：客户端挂载后，其权限为只读，默认选项；
- rw:读写权限；
- sync：同时将数据写入到内存与硬盘中；
- async：异步，优先将数据保存到内存，然后再写入硬盘；
- Secure：要求请求源的端口小于1024
- 用户映射：
- root_squash:当NFS客户端使用root用户访问时，映射到NFS服务器的匿名用户；
- no_root_squash:当NFS客户端使用root用户访问时，映射到NFS服务器的root用户；
- all_squash:全部用户都映射为服务器端的匿名用户；
- anonuid=UID：将客户端登录用户映射为此处指定的用户uid；
- anongid=GID：将客户端登录用户映射为此处指定的用户gid
启动 NFS Server
可与执行下面命令启动且开机就启动 NFS Server:
1## 重启 rpcbind
2$ systemctl restart rpcbind
3
4## 重启 NFS Server 并设置开机就启动
5$ systemctl enable nfs && systemctl restart nfs
到此我们就成功启动 NFS Server，这里服务器 IP 为 192.168.2.11，NFS 目录为 /nfs。
三、创建 ServiceAccount
现在的 Kubernetes 集群大部分是基于 RBAC 的权限控制，所以我们需要创建一个拥有一定权限的 ServiceAccount 与后面要部署的 NFS Subdir Externa Provisioner 组件绑定。
创建 RBAC 资源文件
创建 RBAC 资源文件 nfs-rbac.yaml，文件内容如下:
1apiVersion: v1
2kind: ServiceAccount
3metadata:
4 name: nfs-client-provisioner
5 namespace: kube-system
6---
7kind: ClusterRole
8apiVersion: rbac.authorization.k8s.io/v1
9metadata:
10 name: nfs-client-provisioner-runner
11rules:
12 - apiGroups: [""]
13 resources: ["persistentvolumes"]
14 verbs: ["get", "list", "watch", "create", "delete"]
15 - apiGroups: [""]
16 resources: ["persistentvolumeclaims"]
17 verbs: ["get", "list", "watch", "update"]
18 - apiGroups: ["storage.k8s.io"]
19 resources: ["storageclasses"]
20 verbs: ["get", "list", "watch"]
21 - apiGroups: [""]
22 resources: ["events"]
23 verbs: ["create", "update", "patch"]
24---
25kind: ClusterRoleBinding
26apiVersion: rbac.authorization.k8s.io/v1
27metadata:
28 name: run-nfs-client-provisioner
29subjects:
30 - kind: ServiceAccount
31 name: nfs-client-provisioner
32 namespace: kube-system
33roleRef:
34 kind: ClusterRole
35 name: nfs-client-provisioner-runner
36 apiGroup: rbac.authorization.k8s.io
37---
38kind: Role
39apiVersion: rbac.authorization.k8s.io/v1
40metadata:
41 name: leader-locking-nfs-client-provisioner
42 namespace: kube-system
43rules:
44 - apiGroups: [""]
45 resources: ["endpoints"]
46 verbs: ["get", "list", "watch", "create", "update", "patch"]
47---
48kind: RoleBinding
49apiVersion: rbac.authorization.k8s.io/v1
50metadata:
51 name: leader-locking-nfs-client-provisioner
52 namespace: kube-system
53subjects:
54 - kind: ServiceAccount
55 name: nfs-client-provisioner
56 namespace: kube-system
57roleRef:
58 kind: Role
59 name: leader-locking-nfs-client-provisioner
60 apiGroup: rbac.authorization.k8s.io
注意: 请提前修改里面的 Namespace 名称为你要想部署 Namespace 空间。
部署 RBAC 资源
执行 kubectl 命令将 RBAC 文件部署到 Kubernetes 集群，命令如下:
- -f: 指定资源文件名称。
1$ kubectl apply -f nfs-rbac.yaml
四、部署 NFS-Subdir-External-Provisioner
设置 NFS-Subdir-External-Provisioner 部署文件，这里将其部署到 kube-system 命令空间中。
创建 NFS-Subdir-External-Provisioner 部署文件
创建一个用于部署的 Deployment 资源文件 nfs-provisioner-deploy.yaml，文件内容如下:
1apiVersion: apps/v1
2kind: Deployment
3metadata:
4 name: nfs-client-provisioner
5 labels:
6 app: nfs-client-provisioner
7spec:
8 replicas: 1
9 strategy:
10 type: Recreate ## 设置升级策略为删除再创建(默认为滚动更新)
11 selector:
12 matchLabels:
13 app: nfs-client-provisioner
14 template:
15 metadata:
16 labels:
17 app: nfs-client-provisioner
18 spec:
19 serviceAccountName: nfs-client-provisioner
20 containers:
21 - name: nfs-client-provisioner
22 #image: gcr.io/k8s-staging-sig-storage/nfs-subdir-external-provisioner:v4.0.0
23 image: registry.cn-beijing.aliyuncs.com/mydlq/nfs-subdir-external-provisioner:v4.0.0
24 volumeMounts:
25 - name: nfs-client-root
26 mountPath: /persistentvolumes
27 env:
28 - name: PROVISIONER_NAME ## Provisioner的名称,以后设置的storageclass要和这个保持一致
29 value: nfs-client
30 - name: NFS_SERVER ## NFS服务器地址,需和valumes参数中配置的保持一致
31 value: 192.168.2.11
32 - name: NFS_PATH ## NFS服务器数据存储目录,需和valumes参数中配置的保持一致
33 value: /nfs/data
34 volumes:
35 - name: nfs-client-root
36 nfs:
37 server: 192.168.2.11 ## NFS服务器地址
38 path: /nfs/data ## NFS服务器数据存储目录
由于官方镜像存储在 gcr.io 仓库中，国内无法拉取，所以本人将其拉下并存储在阿里云仓库中。
部署 NFS-Subdir-External-Provisioner
将组件 NFS-Subdir-External-Provisioner 部署到 Kubernetes 的 kube-system 命名空间下，命令如下:
- -f: 指定资源文件名称。
1$ kubectl apply -f nfs-provisioner-deploy.yaml -n kube-system
五、创建 NFS SotageClass
我们在创建 PVC 时经常需要指定 storageClassName 名称，这个参数配置的就是一个 StorageClass 资源名称，PVC 通过指定该参数来选择使用哪个 StorageClass，并与其关联的 Provisioner 组件来动态创建 PV 资源。所以，这里我们需要提前创建一个 Storagelcass 资源。
创建 StorageClass 资源文件
创建一个 StoageClass 资源文件 nfs-storageclass.yaml，文件内容如下:
1apiVersion: storage.k8s.io/v1
2kind: StorageClass
3metadata:
4 name: nfs-storage
5 annotations:
6 storageclass.kubernetes.io/is-default-class: "false" ## 是否设置为默认的storageclass
7provisioner: nfs-client ## 动态卷分配者名称，必须和上面创建的"provisioner"变量中设置的Name一致
8parameters:
9 archiveOnDelete: "true" ## 设置为"false"时删除PVC不会保留数据,"true"则保留数据
10mountOptions:
11 - hard ## 指定为硬挂载方式
12 - nfsvers=4 ## 指定NFS版本,这个需要根据NFS Server版本号设置
上面配置中
Provisioner参数用于声明NFS动态卷提供者的名称，该参数值要和上面部署NFS-Subdir-External-Provisioner部署文件中指定的PROVISIONER_NAME参数保持一致，即设置为nfs-storage。
部署 StorageClass 资源
将 StorageClass 资源部署到 Kubernetes 集群，命令如下:
- -f: 指定资源文件名称。
1$ kubectl apply -f nfs-storageclass.yaml
六、创建用于测试的 PVC 资源
创建一个用于测试的 PVC 资源部署到 Kubernetes 中，这样可以测试 NFS-Subdir-External-Provisioner 是否能够自动创建 PV 与该 PVC 进行绑定。
创建用于测试的 PVC 资源文件
创建一个用于测试的 PVC 资源文件 test-pvc.yaml，文件内容如下:
1kind: PersistentVolumeClaim
2apiVersion: v1
3metadata:
4 name: test-pvc
5spec:
6 storageClassName: nfs-storage ## 需要与上面创建的storageclass的名称一致
7 accessModes:
8 - ReadWriteOnce
9 resources:
10 requests:
11 storage: 1Mi
部署用于测试的 PVC 资源
将上面创建的用于测试的 PVC 资源部署到 Kubernetes 集群，命令如下:
- -f: 指定资源文件名称。
1$ kubectl apply -f test-pvc.yaml
观察是否自动创建 PV 并与 PVC 绑定
等待创建完成后观察 NFS-Subdir-External-Provisioner 是否会自动创建 PV 与该 PVC 进行绑定，可以执行下面命令:
- -o: 指定输出的资源内容的格式，一般会设置为为 yaml 格式。
1$ kubectl get pvc test-pvc -o yaml | grep phase
可以看到显示如下状态:
1phase: Bound
如果显示 phase 为 Bound，则说明已经创建 PV 且与 PVC 进行了绑定
七、创建测试的 Pod 资源
创建一个测试的 Pod 资源部署到 Kubernetes 中，这样就可以测试上面创建的 PVC 是否能够正常使用。
创建测试的 Pod 资源文件
创建一个用于测试的 Pod 资源文件 test-pod.yaml，文件内容如下:
1kind: Pod
2apiVersion: v1
3metadata:
4 name: test-pod
5spec:
6 containers:
7 - name: test-pod
8 image: busybox:latest
9 command:
10 - "/bin/sh"
11 args:
12 - "-c"
13 - "touch /mnt/SUCCESS && exit 0 || exit 1" ## 创建一个名称为"SUCCESS"的文件
14 volumeMounts:
15 - name: nfs-pvc
16 mountPath: "/mnt"
17 restartPolicy: "Never"
18 volumes:
19 - name: nfs-pvc
20 persistentVolumeClaim:
21 claimName: test-pvc
部署用于测试的 Pod 资源
将上面创建的用于测试的 Pod 资源部署到 Kubernetes 集群，命令如下:
- -f: 指定资源文件名称。
1$ kubectl apply -f test-pod.yaml
进入 NFS Server 服务器验证是否存在测试文件
进入 NFS Server 服务器的 NFS 挂载目录，检查在 Pod 中创建的文件 SUCCESS 是否存在：
1$ cd /nfs/data && ls -l | grep test-pvc
2drwxrwxrwx 2 root root default-test-pvc-pvc-aa2a0b72-8320-40d2-a5ab-9209f0dfee45
3
4$ cd default-test-pvc-pvc-aa2a0b72-8320-40d2-a5ab-9209f0dfee45 && ls -l
5-rw-r--r-- 1 root root SUCCESS
可以看到已经生成 SUCCESS 该文件，并且可知通过 NFS-Subdir-External-Provisioner 创建的目录命名方式为 namespace名称-pvc名称-pv名称，PV 名称是随机字符串，所以每次只要不删除 PVC，那么 Kubernetes 中的与存储绑定将不会丢失，要是删除 PVC 也就意味着删除了绑定的文件夹，下次就算重新创建相同名称的 PVC，生成的文件夹名称也不会一致，因为 PV 名是随机生成的字符串，而文件夹命名又跟 PV 有关,所以删除 PVC 需谨慎。
八、清理用于测试的资源
在测试组件是否能正常使用后，我们需要将上面的测试资源文件进行清理，可以执行下面命令:
1## 删除测试的 Pod 资源文件
2$ kubectl delete -f test-pod.yaml
3
4## 删除测试的 PVC 资源文件
5$ kubectl delete -f test-pvc.yaml
---END---
如果本文对你有帮助，可以关注我的公众号"小豆丁技术栈"了解最新动态，顺便也请帮忙 github 点颗星哦~感谢~
!版权声明：本博客内容均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。