一、NFS文件存储服务器部署
1）安装服务端:

yum install -y nfs-utils rpcbind

2）修改配置文件(编辑写入要共享的目录):

vim /etc/exports

// 共享的目录 白名单网段(权限)
/data_nfs 10.50.0.0/24(rw,no_root_squash,sync,all_squash,anonuid=666,anongid=666)

// 载入配置

exportfs -rv

// 令格式如下：
// exportfs [-aruv]
// -a ：全部mount或者unmount /etc/exports中的内容
// -r ：重新mount /etc/exports中分享出来的目录
// -u ：umount目录
// -v ：在export的时候，将详细的信息输出到屏幕上。

// 如果后续需要新加挂载点目录，直接在/etc/exports文件增加即可。无需重载配置和重启服务。

nfs配置参数:
rw 共享目录的权限是 可读 可写
sync 同时将数据写入内存和磁盘，增强数据的安全性，保证数据不丢失
async 优先将数据保存到内存，然后再写入硬盘；这样效率更高，但可能会丢失数据
no_all_squash 无论NFS客户端使用什么账户访问，都不进行压缩
all_squash 无论使用什么用户上传或者访问，一律压缩成 nfs的匿名用户
anonuid 指定一个匿名用户，必须是系统存在的uid
anongid 指定一个匿名用户组，必须是系统存在的gid
root_squash 当NFS客户端以root管理员访问时，映射为NFS服务器的匿名用户(不常用)
no_root_squash 当NFS客户端以root管理员访问时，映射为NFS服务器的root管理员(不常用)
ro 只读权限
secure NFS通过1024以下的安全TCP/IP端口发送
insecure NFS通过1024以上的端口发送
wdelay 如果多个用户要写入NFS目录，则归组写入（默认）
no_wdelay 如果多个用户要写入NFS目录，则立即写入，当使用async时，无需此设置。
Hide 在NFS共享目录中不共享其子目录
no_hide 共享NFS目录的子目录
subtree_check 如果共享/usr/bin之类的子目录时，强制NFS检查父目录的权限（默认）
no_subtree_check 和上面相对，不检查父目录权限
3）nfs自带用户：nfsnobody 65534，创建自定义用户：

groupadd nfsserver -g 666

useradd nfsserver -u 666 -g 666 -s /sbin/nologin -M

// 创建共享的目录并设置属主

mkdir -p /data_nfs

chown -R nfsserver.nfsserver /data_nfs

4）启动服务：

systemctl enable rpcbind nfs-server

systemctl start rpcbind nfs-server

systemctl status rpcbind nfs-server

5）客户端部署和挂载：

// 安装nfs包

yum -y install nfs-utils

// 显示共享目录(这个ip是服务端的ip)

showmount -e 10.50.0.40

// 挂载

mount -t nfs 10.50.0.40:/data_nfs /mnt

// 开机挂载

vim /etc/fstab

10.50.0.40:/data_nfs /mnt nfs defaults 0 0
// 增加挂载的安全性，通过mount -o指定挂载参数，禁止使用suid，exec，增加安全性能

mount -t nfs -o nosuid,noexec,nodev 10.50.0.40:/data_nfs /mnt

二、K8S对接：

// 需要在k8s集群中部署nfs-client-provisioner

helm install –name nfs-client-provisioner –namespace storage –set nfs.server=10.50.0.40 –set nfs.path=/data_nfs –debug .

# helm list

NAME REVISION UPDATED STATUS CHART APP VERSION NAMESPACE
nfs-client-provisioner 1 Wed Oct 28 11:55:24 2020 DEPLOYED nfs-client-provisioner-1.2.8 3.1.0 storage

kubectl patch storageclass managed-nfs-storage -p ‘{“parameters”: {“archiveOnDelete”: “true”}}’

The StorageClass “managed-nfs-storage” is invalid: parameters: Forbidden: updates to parameters are forbidden.

// 如果在修改sc时报如上错误，使用以下方式修改

kubectl replace -f managed-nfs-storage.yaml –force

kubectl -n storage get sc managed-nfs-storage -o yaml

allowVolumeExpansion: true
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
creationTimestamp: “2020-10-28T03:55:24Z”
labels:
app: nfs-client-provisioner
chart: nfs-client-provisioner-1.2.8
heritage: Tiller
release: nfs-client-provisioner
name: nfs-client
resourceVersion: “1352213462”
selfLink: /apis/storage.k8s.io/v1/storageclasses/nfs-client
uid: e6c5b9aa-25c3-41cd-8843-472d8ef02c52
parameters:
archiveOnDelete: “true”
provisioner: cluster.local/nfs-client-provisioner
reclaimPolicy: Delete
volumeBindingMode: Immediate

// 创建pvc即可

cat pvc.yaml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
annotations:
pv.kubernetes.io/bind-completed: “yes”
pv.kubernetes.io/bound-by-controller: “yes”
volume.beta.kubernetes.io/storage-provisioner: cluster.local/nfs-client-provisioner
finalizers:

• kubernetes.io/pvc-protection
  name: pvc-test
  spec:
  accessModes:
• ReadWriteMany
  resources:
  requests:
  storage: 50G
  storageClassName: nfs-client

// 或者pod直接通过nfs引用

cat demo-nfs.yaml

apiVersion: v1
kind: Pod
metadata:
name: nfs-demo
spec:
containers:

• image: nginx name: nfs-demo volumeMounts:
  • mountPath: /data_WebRoot
    name: data-nfs-webroot
    volumes:
• name: data-nfs-webroot
  nfs:
  server: 10.50.0.40
  path: “/data_nfs”