CPU, mémoire et horloge¶
Saturation de ressources d'une machine (hôte, LXC) et désynchronisation d'horloge. Le budget cible est un surcommit CPU de 8 vCPU et environ 26 Go de RAM, ARC ZFS plafonné à 4 Go.
Symptômes¶
HighMemory(plus de 90 %),HighCpu(plus de 90 % sur 5 minutes),OomKillDetected(le noyau a tué un processus),ClockSkew(décalage supérieur à 50 ms sans synchronisation).- Lenteurs, services qui redémarrent, échecs d'authentification (jetons à durée courte, TOTP).
Alertes concernées¶
| Alerte | Sévérité | Durée | Résumé |
|---|---|---|---|
ClockSkew |
warning | 10m | Horloge désynchronisée sur <instance> |
HighCpu |
warning | 15m | CPU saturé sur <instance> |
HighMemory |
warning | 10m | Mémoire presque saturée sur <instance> |
OomKillDetected |
warning | immédiat | OOM killer déclenché sur <instance> |
Expressions PromQL
Diagnostic¶
uptime ; free -h
ps aux --sort=-%mem | head -10
dmesg -T | grep -iE "out of memory|oom-kill" | tail
docker stats --no-stream # LXC avec Docker
# Horloge
timedatectl
chronyc tracking 2>/dev/null || systemctl status systemd-timesyncd
# Hôte : ARC ZFS
cat /sys/module/zfs/parameters/zfs_arc_max
Remédiation¶
- Processus gourmand : identifier le conteneur (
docker stats), puis soit corriger la cause (requête, boucle), soit relever la mémoire du LXC :pct set <vmid> -memory <Mo>et alignermemory_mbdans le contrat. - Hôte saturé : réduire le maximum de nœuds
challenges(voir Scaling), ou arrêter des instances de challenges (Instances). - OOM récurrent d'un LXC : la limite est trop basse pour la charge ; ne pas simplement redémarrer.
- Horloge : un LXC partage l'horloge de l'hôte. Corriger la synchronisation de l'hôte (
chronyc makestep), et vérifier que l'hôte atteint ses serveurs NTP (règle d'egress 123/udp, I5). - Dérive d'horloge d'un nœud Talos :
talosctl time; Talos se synchronise seul, le blocage est presque toujours une règle réseau.
Escalade¶
Surveiller HighMemory sur l'hôte : un OOM sur l'hôte peut tuer une VM entière. En cas de doute, arrêter des charges non essentielles avant de redémarrer.
Retour à l'index des runbooks.