Charges Kubernetes¶
Pods, Deployments et volumes des namespaces de la plateforme (hors namespaces d'instances inst-*, qui sont exclus de ces alertes).
Symptômes¶
KubePodCrashLooping,KubePodOOMKilled,KubePodNotReady(Pending/Unknown/Failed depuis 20 minutes).KubeDeploymentUnavailable(critique, aucun réplica disponible),KubeDeploymentReplicasMismatch.KubePersistentVolumeFillingUp: un volume est presque plein.
Alertes concernées¶
| Alerte | Sévérité | Durée | Résumé |
|---|---|---|---|
KubeDeploymentReplicasMismatch |
warning | 20m | Deployment <namespace>/<deployment> incomplet |
KubeDeploymentUnavailable |
critical | 5m | Deployment <namespace>/<deployment> sans réplica disponible |
KubePersistentVolumeFillingUp |
warning | 15m | Volume <namespace>/<persistentvolumeclaim> presque plein |
KubePodCrashLooping |
warning | 15m | Pod <namespace>/<pod> en CrashLoopBackOff |
KubePodNotReady |
warning | 20m | Pod <namespace>/<pod> bloqué |
KubePodOOMKilled |
warning | immédiat | Conteneur <namespace>/<pod>/<container> tué par OOM |
Expressions PromQL
# KubeDeploymentReplicasMismatch
kube_deployment_spec_replicas{namespace!~"inst-.+"} != kube_deployment_status_replicas_available{namespace!~"inst-.+"}
# KubeDeploymentUnavailable
kube_deployment_spec_replicas{namespace!~"inst-.+"} > 0 and kube_deployment_status_replicas_available{namespace!~"inst-.+"} == 0
# KubePersistentVolumeFillingUp
kubelet_volume_stats_available_bytes / kubelet_volume_stats_capacity_bytes < 0.10 and kubelet_volume_stats_capacity_bytes > 0
# KubePodCrashLooping
max_over_time(kube_pod_container_status_waiting_reason{reason="CrashLoopBackOff"}[5m]) >= 1
# KubePodNotReady
sum by (namespace, pod) ( kube_pod_status_phase{phase=~"Pending|Unknown|Failed", namespace!~"inst-.+"} ) > 0
# KubePodOOMKilled
(increase(kube_pod_container_status_restarts_total[15m]) > 0) and on (namespace, pod, container) (kube_pod_container_status_last_terminated_reason{reason="OOMKilled"} == 1)
Diagnostic¶
export KUBECONFIG="$PWD/.state/kubeconfig"
kubectl get pods -A | grep -vE 'Running|Completed'
kubectl -n <ns> describe pod <pod> | sed -n '/State:/,/Ready:/p;/Events/,$p'
kubectl -n <ns> logs <pod> --previous --tail=100
kubectl -n <ns> get events --sort-by=.lastTimestamp | tail -20
kubectl top pods -n <ns> 2>/dev/null
kubectl -n <ns> get pvc
Remédiation¶
- CrashLoopBackOff : lire
logs --previous: configuration, Secret manquant, base indisponible. Corriger dans le dépôt. - OOMKilled : relever
resources.limits.memorydansgitops/(par commit) ; chercher d'abord une fuite. - Pending :
describeindique la cause (ressources insuffisantes, taint/toleration, volume non attaché, refus Kyverno). Voir Autoscaling pour les nœuds. - Volume plein : augmenter la taille de la demande (
PersistentVolumeClaim) dans le dépôt, si la StorageClass Proxmox CSI autorise l'extension ; sinon nettoyer les données. - Régression d'image :
git revertdu commit fautif. - Les correctifs passent par Git : un
kubectl editest écrasé par ArgoCD.
Escalade¶
Un Deployment indisponible sur ctfd, frontend ou chall-manager a son propre runbook : CTFd, Front, Instances.
Retour à l'index des runbooks.