VictoriaMetrics et vmalert¶
Couche : Observabilité · Où : LXC monitoring (zone MONITORING, 10.20.50.10), Docker Compose · Version : v1.154.0 (victoria-metrics et vmalert, digests épinglés)
À quoi elle sert ici et pourquoi ce choix¶
VictoriaMetrics stocke les métriques, scrape lui-même les exporters des LXC et de l'hôte (vmagent intégré) et reçoit en
remote_write celles du cluster (Alloy). Il est plus léger que Prometheus pour un seul LXC de 3 Go. vmalert évalue
les règles d'alerte (67 alertes) et les envoie à Alertmanager. KEDA interroge aussi VictoriaMetrics pour scaler
CTFd et le front (KEDA).
Où elle tourne et comment elle est déployée¶
Deux conteneurs du Compose de la pile de monitoring (rôle monitoring-stack) : victoriametrics (8428) et vmalert (8880).
Les règles sont copiées depuis monitoring/rules/ ; elles sont supprimées du LXC si retirées du dépôt.
Version épinglée¶
pad_images.victoriametrics et pad_images.vmalert = v1.154.0 dans infra/ansible/inventories/prod/group_vars/all/versions.yml.
Rétention : monitoring_stack_vm_retention: 30d dans infra/ansible/roles/monitoring-stack/defaults/main.yml.
Fichiers de configuration dans le dépôt¶
infra/ansible/roles/monitoring-stack/(rôle) etmonitoring/(contenu versionné).templates/scrape.yml.j2: jobsvictoriametrics,vmalert,alertmanager,loki,tempo,grafana,node,alloy,docker,pve,traefik,crowdsec,netbird,authentik.monitoring/rules/:ctf.yml(13 alertes),infra.yml(22),monitoring.yml(7),platform.yml(19),security.yml(6),recording.yml(règlespad:*).monitoring/tests/rules/*.test.yml: testspromtool test rules.
Interactions avec les autres briques¶
- Scrape : node-exporter, Alloy, Docker, pve-exporter, Traefik, CrowdSec, NetBird, Authentik, OPNsense (voir exporters).
- Reçoit le
remote_writedu cluster (Alloy DaemonSet) et les métriques dérivées des traces de Tempo. - Alimente Grafana et les ScaledObjects de KEDA.
- vmalert notifie Alertmanager.
Sécurité¶
- Pas de port exposé hors de la zone : les flux sont ceux de la matrice (push 8428 depuis toutes les zones, scrape depuis MONITORING).
no-new-privileges. Interface accessible en interne seulement (forward-auth Authentik pourvm.<domaine>).
Supervision¶
Il se supervise lui-même (jobs victoriametrics et vmalert). Alertes VmalertRuleErrors, VmalertNotifierErrors :
Pile de supervision. Le Watchdog prouve que la chaîne vmalert vers Alertmanager vit :
Watchdog.
Opérations courantes¶
bash monitoring/scripts/check.sh # promtool, amtool, vmalert -dryRun, dashboards
python3 monitoring/scripts/validate.py runbooks # un runbook par alerte
task ansible:services -- --tags monitoring --limit monitoring
Pièges connus¶
- Les gauges CTFd et
pad_frontend_active_sessionssont identiques sur chaque pod : les agréger avecmax(), jamaissum(). - Le LXC héberge aussi Uptime Kuma : une panne totale du LXC n'est détectée que par un second point de vue (voir limites).