Pile de supervision¶
Défaillances de la pile elle-même (LXC monitoring, vmid 250) : évaluation des règles par vmalert, envoi vers Alertmanager, serveur Loki.
Symptômes¶
VmalertRuleErrors: une règle ne s'évalue plus (labelalertname).VmalertNotifierErrors: vmalert n'arrive pas à joindre Alertmanager.LokiServerErrors: Loki renvoie des 5xx.
Alertes concernées¶
| Alerte | Sévérité | Durée | Résumé |
|---|---|---|---|
LokiServerErrors |
warning | 10m | Loki renvoie des erreurs 5xx |
VmalertNotifierErrors |
warning | 10m | vmalert n'arrive pas à joindre Alertmanager |
VmalertRuleErrors |
warning | 10m | Erreurs d'évaluation de règles vmalert (<alertname>) |
Expressions PromQL
Diagnostic¶
cd /opt/pad/monitoring
docker compose ps
docker compose logs --since 30m vmalert | tail -30
docker compose logs --since 30m loki | tail -30
docker compose logs --since 30m alertmanager | tail -20
curl -s http://10.20.50.10:8880/api/v1/rules | jq '[.data.groups[].rules[] | select(.lastError != "")] | length'
curl -s http://10.20.50.10:9093/-/ready ; curl -s http://10.20.50.10:3100/ready
df -h /
Remédiation¶
- Erreur de règle : généralement une métrique renommée ou une syntaxe invalide. Valider avec
bash monitoring/scripts/check.sh, corriger dansmonitoring/rules/, redéployer (task ansible:services). - Alertmanager injoignable :
docker compose up -d alertmanager, vérifier l'espace disque et la configuration rendue (amtool check-config). - Loki 5xx : disque plein (voir Disque saturé), limites d'ingestion dépassées, ou mémoire. Redémarrer
lokiaprès avoir libéré de l'espace. - Mémoire : le LXC dispose de 3 Go pour six services ; voir CPU, mémoire, horloge.
Escalade¶
Une panne complète du LXC monitoring supprime à la fois la mesure et l'alerte : le heartbeat Watchdog est le seul filet (Watchdog).
Retour à l'index des runbooks.