如何在 Kubernetes(k8s) 中配置和使用 GlusterFS 存储作为 PersistentVolume？

Question

Accepted Answer

在Kubernetes中配置GlusterFS作为PersistentVolume的实践经验可分为以下阶段：

前置条件准备
- 部署GlusterFS集群（至少3节点），建议使用专用磁盘分区
- 所有Kubernetes节点安装glusterfs-client，CentOS需额外安装glusterfs-fuse
- 创建信任池(probe)时需确保防火墙开放24007-24009/TCP及49152-49251/TCP端口

Kubernetes资源配置

# Endpoints定义（示例）
apiVersion: v1
kind: Endpoints
metadata:
 name: glusterfs-cluster
subsets:
 - addresses:
     - ip: 10.0.0.1
     - ip: 10.0.0.2
   ports:
     - port: 24007
       name: glusterd

需同步创建同名Service作为访问入口

PersistentVolume配置要点
- 使用volumeType: Replicate3确保三副本
- 设置gid参数匹配Pod安全上下文
- 推荐添加mountOptions: [background-qos=off]提升稳定性
动态存储配置（Heketi方案）
- Heketi需配置SSH免密访问Gluster节点
- 拓扑文件需明确定义节点、设备、区块分配策略
- 常见故障点在于storageclass的resturl需使用Heketi服务地址

实践挑战及解决方案：

权限冲突问题
- 现象：Pod报Permission denied错误
- 排查：检查PV的gid与Pod securityContext是否匹配
- 方案：在PV定义中显式设置gid，或在storageclass添加volumegroup参数
网络抖动导致IO Hang
- 现象：存储性能波动大，偶现卡顿
- 方案：优化内核参数net.ipv4.tcp_keepalive_time=600，启用GlusterFS的客户端缓存
- 建议：生产环境需保证节点间网络延迟<2ms，禁用CPU节能模式
存储扩容困境
- 痛点：传统方案需要人工干预Heketi拓扑
- 创新实践：通过Ansible自动发现新存储节点并更新Heketi拓扑
- 监控指标：设置Prometheus告警规则监控存储池使用率>70%
版本兼容性问题
- 关键发现：GlusterFS 7.x与Kubernetes 1.20+存在fstype识别异常
- 规避方案：强制指定PV的mountOptions为log-level=ERROR
- 升级策略：先升级测试集群验证CSI驱动兼容性

运维建议：在非生产环境验证GlusterFS的脑裂恢复流程，定期执行gluster volume heal info检查数据一致性。

Answer

在Kubernetes中配置GlusterFS存储需创建Endpoints和Service指向Gluster集群，随后定义PersistentVolume指定glusterfs类型及路径，最后通过PersistentVolumeClaim挂载到Pod即可使用。

Answer

先在k8s集群外搭好GlusterFS存储集群，记下节点IP和卷名。然后在k8s里创建Endpoints和Service指向GlusterFS节点，接着写个PersistentVolume配置文件，指定glusterfs的路径和endpoints名称。再搞个PersistentVolumeClaim来绑定这个PV。最后在Pod配置里通过volumeClaimName调用就完事了。注意要装好glusterfs客户端，挂载时保持长连接别断嗷！

Answer

准备GlusterFS集群：确保GlusterFS集群已部署且卷（如gv0）创建完成。

安装依赖：在所有Kubernetes节点安装glusterfs-client：

apt-get install glusterfs-client  # Debian/Ubuntu
yum install glusterfs-fuse        # CentOS/RHEL

创建Endpoint/Service：定义GlusterFS节点IP（替换为实际IP）:

apiVersion: v1
kind: Endpoints
metadata:
 name: glusterfs-cluster
subsets:
 - addresses:
     - ip: 10.0.0.1
     - ip: 10.0.0.2
   ports:
     - port: 49152  # GlusterFS默认端口
---
apiVersion: v1
kind: Service
metadata:
 name: glusterfs-cluster
spec:
 ports:
 - port: 49152

创建PersistentVolume（静态配置）：

apiVersion: v1
kind: PersistentVolume
metadata:
 name: gluster-pv
spec:
 capacity:
   storage: 10Gi
 accessModes:
   - ReadWriteMany
 glusterfs:
   endpoints: glusterfs-cluster
   path: gv0               # GlusterFS卷名称
   readOnly: false
 persistentVolumeReclaimPolicy: Retain

创建PersistentVolumeClaim：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
 name: gluster-pvc
spec:
 accessModes:
   - ReadWriteMany
 resources:
   requests:
     storage: 10Gi

挂载到Pod：

apiVersion: v1
kind: Pod
metadata:
 name: app-pod
spec:
 containers:
   - name: app
     image: nginx
     volumeMounts:
       - mountPath: /data
         name: gluster-storage
 volumes:
   - name: gluster-storage
     persistentVolumeClaim:
       claimName: gluster-pvc

验证：进入Pod写入文件，检查GlusterFS卷中是否持久化数据。

Answer

在Kubernetes中配置GlusterFS作为PersistentVolume的步骤如下：

部署GlusterFS集群
- 安装GlusterFS节点并创建存储卷（如gluster volume create vol01 replica 3 server1:/data server2:/data server3:/data）
安装Heketi（可选）
- 使用Heketi自动化存储管理，通过Kubernetes部署Heketi Service及API端点

创建StorageClass（动态供给）

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
 name: glusterfs-sc
provisioner: kubernetes.io/glusterfs
parameters:
 resturl: "http://heketi-service.default:8080"
 restauthenabled: "false"

手动创建PV/PVC（静态供给）

apiVersion: v1
kind: PersistentVolume
metadata:
 name: gluster-pv
spec:
 capacity:
   storage: 10Gi
 accessModes:
   - ReadWriteMany
 glusterfs:
   endpoints: "glusterfs-cluster"
   path: "vol01"
   readOnly: false

创建PVC绑定

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
 name: gluster-pvc
spec:
 storageClassName: ""
 accessModes:
   - ReadWriteMany
 resources:
   requests:
     storage: 10Gi

Pod挂载使用

spec:
 containers:
   - volumeMounts:
     - mountPath: "/data"
       name: gluster-storage
 volumes:
   - name: gluster-storage
     persistentVolumeClaim:
       claimName: gluster-pvc

注意：

需提前创建glusterfs端点(Endpoints)指向集群节点
多节点访问建议使用ReadWriteMany模式
Heketi提供REST API实现动态存储分配
生产环境应配置TLS认证及资源配额

如何在 Kubernetes(k8s) 中配置和使用 GlusterFS 存储作为 PersistentVolume？

热门问答

推荐问答