Cible de supervision injoignable¶
InstanceDown signifie que VictoriaMetrics n'arrive plus à scraper une cible depuis 5 minutes. La cible peut être arrêtée, ou seulement injoignable (pare-feu, exporter planté). Le label job indique de quoi il s'agit.
Symptômes¶
InstanceDown(critique) avecjobetinstance.- Si
OpnsenseDownest aussi active, lesInstanceDownen cascade sont inhibées : traiter le routeur d'abord.
Alertes concernées¶
| Alerte | Sévérité | Durée | Résumé |
|---|---|---|---|
InstanceDown |
critical | 5m | Cible <instance> injoignable |
Diagnostic¶
# Quelles cibles sont down ?
curl -s -G http://10.20.50.10:8428/api/v1/query --data-urlencode 'query=up == 0' | jq -r '.data.result[].metric | "\(.job) \(.instance)"'
# Depuis le LXC monitoring : la cible répond-elle ?
curl -s -m 3 -o /dev/null -w '%{http_code}\n' http://<instance>/metrics
nc -zv -w3 <ip> <port>
job |
Source | Port | Où regarder |
|---|---|---|---|
node |
node-exporter de l'hôte, d'un LXC ou d'OPNsense | 9100 | systemctl status prometheus-node-exporter ; OPNsense : OPNsense indisponible |
alloy |
Alloy | 12345 | Télémétrie Alloy |
docker |
dockerd d'un LXC | 9323 | Docker dans un LXC |
pve |
pve-exporter de l'hôte | 9221 | Hôte Proxmox |
| autres | exporters applicatifs (Traefik, CrowdSec, NetBird, Authentik...) | voir le contrat | le runbook du service |
Remédiation¶
- Machine éteinte : Invité Proxmox arrêté.
- Machine allumée mais cible muette : redémarrer le service concerné (exporter, Docker).
- Cible joignable en local mais pas depuis monitoring : règle M8 (scrape) manquante, ou zone coupée. Réappliquer
task tofu:apply-stack STACK=60-opnsense-rules. - Cible retirée volontairement (LXC supprimé, nœud scalé à la baisse) : retirer la cible de la configuration de scrape (rôle
monitoring-stack).
Escalade¶
Plusieurs cibles de zones différentes qui tombent en même temps : suspecter OPNsense ou le LXC monitoring lui-même plutôt que chaque service.
Retour à l'index des runbooks.