Watchdog (dead-man's switch)¶
Watchdog est une alerte toujours active (vector(1)), de sévérité none : elle ne notifie personne. Alertmanager la transmet toutes les 5 minutes à un moniteur « push » d'Uptime Kuma. C'est l'absence de ce signal qui alerte : elle prouve que la chaîne vmalert, Alertmanager, réseau, Uptime Kuma fonctionne.
Symptômes¶
- Uptime Kuma signale le moniteur « Watchdog Alertmanager » en panne (message Discord de sa propre notification).
- Dans l'interface Alertmanager, l'alerte
Watchdogest absente (vmalert ou Alertmanager arrêté). - Aucun symptôme si tout va bien : voir
Watchdogactive dans Alertmanager est normal.
Alertes concernées¶
| Alerte | Sévérité | Durée | Résumé |
|---|---|---|---|
Watchdog |
none | immédiat | Watchdog : la chaîne d'alerte fonctionne |
Diagnostic¶
cd /opt/pad/monitoring
docker compose ps
curl -s http://10.20.50.10:9093/api/v2/alerts | jq -r '.[] | select(.labels.alertname=="Watchdog") | .status.state'
docker compose logs --since 30m alertmanager | grep -i watchdog
docker compose logs --since 30m vmalert | tail -20
curl -s -m 3 -o /dev/null -w '%{http_code}\n' http://10.20.50.10:3001/
Remédiation¶
- vmalert arrêté :
docker compose up -d vmalert; voir Pile de supervision. - Alertmanager arrêté : idem pour
alertmanager. - Chaîne vivante mais Uptime Kuma ne reçoit rien : le récepteur
watchdogn'a pas de jeton (uptime_kuma_watchdog_tokenabsent desecrets/monitoring.sops.yaml) ou le moniteur push a été recréé avec un autre jeton. Aligner les deux, puistask ansible:services. - LXC monitoring tombé : Uptime Kuma l'est aussi (même LXC). C'est le cas où le Watchdog ne peut pas vous prévenir ; un second point de vue externe est une amélioration prévue (voir limites connues).
- Test volontaire : arrêter
alertmanagerquelques minutes confirme que l'alerte d'absence arrive.
Escalade¶
Sans jeton Watchdog configuré, la détection de panne totale de la chaîne n'existe pas : le renseigner fait partie des actions post-déploiement.
Retour à l'index des runbooks.