Kubernetes(k8s)中如何排查集群中Pod的高负载问题？

1. 检查Pod资源使用情况

   • 使用 kubectl top pod <pod-name> 查看CPU/内存实时消耗。
   • 通过 kubectl describe pod <pod-name> 查看事件（Events），确认是否触发OOM或资源限制。

2. 分析Pod日志

   • 执行 kubectl logs <pod-name> --tail=100 查看最近日志，过滤ERROR/WARNING关键字。
   • 若为多容器Pod，追加 -c <container-name> 指定容器。

3. 进入Pod内部诊断

   • 使用 kubectl exec -it <pod-name> -- sh 进入容器。
   • 运行 top、htop 或 ps aux 分析进程级资源占用，定位异常进程。

4. 检查资源配额与限制

   • 查看Pod的YAML中 resources.limits/requests 配置，对比实际使用量，判断是否配置过低。

5. 节点级排查

   • 通过 kubectl top node 确认节点负载，使用 kubectl describe node <node-name> 查看节点资源分配情况。
   • 若节点过载，用 kubectl get pods --field-selector spec.nodeName=<node-name> 列出该节点所有Pod。

6. 监控与指标分析

   • 结合Prometheus/Grafana查看历史趋势，分析CPU/内存/IO的尖峰时段及关联事件。
   • 检查应用自定义指标（如QPS、线程池状态）。

7. 网络与存储排查

   • 使用 kubectl get ep <service-name> 验证服务端点是否正常。
   • 通过 iftop 或 nload 检查容器网络流量，排除DDoS或异常连接。
   • 确认PersistentVolume的IOPS是否超限（如云磁盘性能瓶颈）。

8. Profiling工具

   • 对Java应用使用 jstack/jmap，Go应用使用 pprof 生成性能分析报告，定位代码瓶颈。

9. 滚动重启

   • 若临时无法定位根因，通过 kubectl rollout restart deployment/<deploy-name> 重启Pod实例，观察负载是否恢复。

检查Pod资源使用情况（如CPU、内存）及节点负载，使用kubectl top pod和日志分析应用性能瓶颈。若资源不足可调整requests/limits或横向扩展。

1. 资源监控分析：使用kubectl top pod查看Pod的CPU/内存实时使用情况，结合Prometheus+Grafana分析历史趋势，判断是否因资源不足触发负载飙升。

2. 日志排查：通过kubectl logs或集中式日志系统（如Loki）检查Pod日志，定位异常错误（如死循环、频繁GC）或外部依赖超时。

3. 进程级诊断：对高负载Pod执行kubectl exec进入容器，使用top/htop或pidstat分析进程级资源占用，确认是否为应用自身问题。

4. 网络瓶颈检查：通过kubectl describe svc和网络监控（如Cilium Hubble）检测网络延迟、连接数激增或跨节点流量异常。

5. 存储性能验证：若Pod依赖持久卷，使用kubectl describe pvc检查存储后端性能（如IOPS延迟），避免因存储拖累应用。

6. 调度与竞争分析：通过kubectl describe node查看节点资源分配，结合Pod亲和性策略，排查因资源碎片化导致的调度争抢。

7. 应用性能剖析：注入Sidecar（如Pyroscope）或使用perf/pprof工具进行火焰图分析，定位代码热点（如锁竞争、低效算法）。

8. K8s事件回溯：通过kubectl get events --sort-by=.metadata.creationTimestamp查看集群事件，识别驱逐（Eviction）或OOMKilled等关联告警。

先看哪个Pod最吃资源，用kubectl top pod查CPU和内存。然后kubectl logs看日志有没有报错，kubectl describe pod看状态是不是OOM或者被杀了。再检查Requests/Limits设置是不是太抠，用kubectl exec进容器里top看看具体哪个进程在搞事情。节点负载高的话还要kubectl describe node看资源分配，不行就加节点或者调调度策略。

1. 资源监控：使用kubectl top pod查看Pod的CPU/内存消耗，结合Prometheus+Grafana监控历史趋势，确认资源是否超限或突增。
2. 日志分析：通过kubectl logs或集中式日志平台（如ELK）检查Pod日志，定位异常请求、错误堆栈或高频操作。
3. 性能剖析：对Pod内进程进行性能分析（如Java的Arthas、Go的pprof），识别CPU密集型或阻塞操作。
4. 网络延迟：检查Pod间通信及外部依赖服务的延迟（如istio链路追踪），排除网络瓶颈或DNS问题。
5. 存储瓶颈：若Pod涉及持久化存储，监控磁盘IO（如iostat）及PVC性能，避免存储延迟拖累应用。
6. 调度均衡：通过kubectl describe node确认节点负载分布，调整反亲和性策略或HPA参数避免热点。
7. 配置检查：验证Pod的requests/limits合理性，避免资源争抢；检查JVM堆等应用级参数是否适配当前负载。
8. 进程级排查：进入Pod执行top或pidstat，确认是业务进程还是Sidecar（如日志Agent）占用资源。
9. 集群事件：通过kubectl get events查找OOMKilled、驱逐事件等关联线索，结合监控定位根因。