Alertmanager n'arrive pas à notifier¶
Alertmanager reçoit les alertes de vmalert mais échoue à les envoyer (Discord, e-mail ou webhook Uptime Kuma). Tant que ce n'est pas réglé, vous êtes aveugle : les alertes existent mais personne ne les voit.
Symptômes¶
- Plus aucun message Discord ni e-mail alors que des incidents sont visibles dans Grafana.
- L'alerte
AlertmanagerNotificationsFailingporte le labelintegration(discord,email,webhook) du canal en échec. - Dans l'interface Alertmanager, des alertes sont
activemais jamaisnotified.
Alertes concernées¶
| Alerte | Sévérité | Durée | Résumé |
|---|---|---|---|
AlertmanagerNotificationsFailing |
warning | 10m | Alertmanager n'arrive pas à notifier via <integration> |
Expressions PromQL
Diagnostic¶
# Sur le LXC monitoring (vmid 250, voir la convention d'accès dans l'index des runbooks)
docker compose --project-directory /opt/pad/monitoring logs --since 30m alertmanager | grep -iE "notify|error|failed"
# Compteurs d'échecs par canal
curl -s -G http://10.20.50.10:8428/api/v1/query \
--data-urlencode 'query=sum by (integration) (rate(alertmanager_notifications_failed_total[10m]))'
# Statut et configuration chargée
curl -s http://10.20.50.10:9093/api/v2/status | head -c 600
Remédiation¶
- Discord : l'erreur contient en général
404ou401. Le webhook a été supprimé ou régénéré. Créer un nouveau webhook, puissops secrets/monitoring.sops.yaml(clédiscord_webhook_url). - E-mail : erreur d'authentification SMTP ou
connection refused. Vérifiersmtp_smarthost,smtp_username,smtp_passworddans le même fichier et que l'hôte SMTP est joignable depuis la zone MONITORING (règle d'egress Internet de la zone, voir la matrice de flux). - Webhook Uptime Kuma : le jeton
uptime_kuma_watchdog_tokenne correspond plus au moniteur push. Voir Watchdog. - Redéployer la configuration :
task ansible:services(le rôlemonitoring-stackrendalertmanager.ymlet recharge Alertmanager). - Tester :
amtool --alertmanager.url=http://10.20.50.10:9093 alert add TestNotif severity=warning --annotation=summary=test, attendre le message, puis laisser l'alerte expirer.
Escalade¶
Si aucun canal ne fonctionne, surveiller Grafana et la page de statut Uptime Kuma à la main pendant la correction. Un échec simultané des trois canaux pointe plutôt vers le réseau du LXC monitoring (voir OPNsense indisponible) que vers les secrets.
Retour à l'index des runbooks.