使用kubeadm部署Kubernetes(k8s)集群后，如何配置集群的备份与恢复策略？

使用kubeadm部署的Kubernetes集群，备份与恢复主要通过etcd实现。核心步骤是定期备份etcd数据快照，并通过etcdctl工具恢复。

延伸知识点： 自动备份etcd的CronJob配置

1. 创建执行备份的脚本（/backup/etcd-backup.sh）:

   ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
   --cacert=/etc/kubernetes/pki/etcd/ca.crt \
   --cert=/etc/kubernetes/pki/etcd/server.crt \
   --key=/etc/kubernetes/pki/etcd/server.key \
   snapshot save /data/etcd-backup/snapshot-$(date +%Y%m%d).db

2. 创建Kubernetes CronJob资源配置：

   apiVersion: batch/v1
   kind: CronJob
   metadata:
   name: etcd-backup
   spec:
   schedule: "0 2 * * *"
   jobTemplate:
   spec:
     template:
       spec:
         containers:
         - name: etcd-backup
           image: bitnami/etcd:3.5.9
           command: ["/bin/sh", "/backup/etcd-backup.sh"]
           volumeMounts:
           - mountPath: /etc/kubernetes/pki/etcd
             name: etcd-certs
             readOnly: true
           - mountPath: /data/etcd-backup
             name: backup-volume
         volumes:
         - name: etcd-certs
           hostPath:
             path: /etc/kubernetes/pki/etcd
         - name: backup-volume
           hostPath:
             path: /mnt/etcd-backups
             type: DirectoryOrCreate
         restartPolicy: OnFailure

   此配置每日2点自动备份，需确保挂载路径与etcd证书路径匹配。恢复时使用etcdctl snapshot restore命令，需提前验证备份文件完整性，并确保恢复环境与原始集群的Kubernetes版本、网络配置一致。

简单来说，部署完k8s集群后，备份恢复主要分两步走：

1. 备份etcd数据：用etcdctl snapshot save命令保存etcd快照（比如定时任务），同时备份/etc/kubernetes下的证书和配置文件。
2. 恢复集群：通过etcdctl snapshot restore还原快照，重启etcd和kube-apiserver。如果用了Velero这类工具，还能直接恢复应用和持久卷数据。 重点：提前测试备份有效性，别等到崩了才发现备份是坏的！

在kubeadm部署的Kubernetes集群中，备份与恢复策略需围绕etcd和资源声明两个核心展开。以下是实践经验总结：

1. etcd数据备份

   • 手动备份：

     ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \
     --cacert=/etc/kubernetes/pki/etcd/ca.crt \
     --cert=/etc/kubernetes/pki/etcd/server.crt \
     --key=/etc/kubernetes/pki/etcd/server.key \
     snapshot save /path/to/snapshot.db

   • 自动化：通过CronJob定期执行备份，结合对象存储持久化
   • 恢复时需停止kube-apiserver，用etcdctl snapshot restore重建数据目录

2. 应用资源备份

   • 使用Velero工具：

     velero install --provider aws --bucket velero-backups \
     --secret-file ./credentials-velero --use-volume-snapshots

   • 配置定期备份计划（含PV数据），注意调整Restic超时参数

3. Persistent Volume保护

   • 云平台CSI驱动启用VolumeSnapshot功能
   • 跨可用区复制存储，避免单点故障

实践挑战：

• etcd快照恢复时因TLS证书过期导致认证失败（需同步备份pki目录）
• Velero恢复过程中因StorageClass变更导致PV绑定失败（使用--preserve-nodeports参数）
• 大规模集群备份窗口超出维护周期（采用增量备份策略）
• 跨版本恢复时API资源不兼容（需保持控制平面版本一致）

建议增加备份验证机制：通过临时拉起测试集群验证备份有效性，同时加密备份数据并设置最小权限访问策略（RBAC）。

作为客户技术经理，结合多年实践经验，Kubernetes集群的备份与恢复策略需重点关注以下核心环节：

1. 关键组件备份

   • Etcd数据备份：通过etcdctl snapshot save定期备份，需包含证书和端点参数。建议每日全量备份，保留最近7天数据
   • 集群状态备份：使用kubeadm config view > cluster-config.yaml保存集群初始化配置，同时备份/etc/kubernetes目录下的证书及静态Pod清单

2. 工作负载备份

   • 采用Velero工具：配置定时备份策略，包含持久卷(PV)快照及K8s资源定义（YAML），注意存储类(StorageClass)的跨集群兼容性
   • 对关键StatefulSet应用，建议额外执行应用层备份（如数据库dump）

3. 恢复策略

   • Etcd恢复：需先停止kube-apiserver，通过etcdctl snapshot restore恢复，注意数据目录权限及节点IP一致性
   • 集群重建：结合kubeadm配置文件及证书备份快速重建控制平面，通过Velero restore API批量恢复工作负载

4. 实践建议

   • 生产环境必须实现备份验证机制，定期执行恢复演练
   • 使用对象存储保留至少3个历史版本，启用版本控制防止覆盖
   • 对etcd备份进行加密处理，符合企业安全合规要求
   • 通过Prometheus监控备份任务状态，失败时触发告警

注：对于混合云场景，建议采用Restic模式处理非云存储的PV备份。灾难恢复RTO目标应基于业务优先级分级制定。

备份集群需定期备份etcd数据及kubeadm配置文件，恢复时通过etcd快照还原并重新应用配置。使用velero等工具可简化应用级数据备份与恢复流程。