Aller au contenu

Runbooks

Un runbook décrit quoi faire quand quelque chose casse ou doit être fait avec méthode. Chaque alerte de la supervision renvoie à l'un d'eux par son annotation runbook_url : docs/runbooks/<nom>.md.

Procédures

Procédure Quand
Up déployer, ou reprendre un déploiement interrompu
Destroy supprimer la plateforme (tout sauf l'hôte)
Rebuild détruire puis reconstruire, chronométré
Sauvegarde et restauration avant une opération risquée, après un incident de données
Incident générique une panne dont on ne connaît pas encore la cause
Rotation des secrets rotation planifiée, ou fuite suspectée

Alertes

Runbook Alertes
Notifications Alertmanager AlertmanagerNotificationsFailing
Télémétrie Alloy AlloyRemoteWriteFailing, AlloyLogsDropped, ClusterMetricsMissing
ArgoCD ArgoCDOutOfSync, ArgoCDAppUnhealthy, ArgoCDSyncFailed
Authentik AuthentikServerErrors
Autoscaling KedaScalerErrors, HpaMaxedOut, ClusterAutoscaler*
Certificats CertExpiry, CertExpiryCritical, CertManagerCertExpiry, CertManagerCertNotReady
CrowdSec CrowdSecAlertsBurst, CrowdSecDecisionsHigh, CrowdSecNoMetrics
CTFd CtfdDeploymentDown, CtfdMetricsMissing, CtfdMetricsStale, CtfdIncorrectSubmissionsBurst, CtfEventPaused
Docker dans un LXC DockerDaemonDown, DockerHealthchecksFailing
Front FrontendHigh5xxRatio, FrontendCtfdSlow, FrontendMetricsMissing
Disque saturé DiskFull, DiskCritical, DiskWillFillIn24h
CPU, mémoire, horloge HighMemory, HighCpu, OomKillDetected, ClockSkew
Ingress IngressHigh5xxRatio, IngressHighLatency
Cible injoignable InstanceDown
Instances de challenges ChallManagerDeploymentDown, ChallManagerErrorRate, CtfdInstancesDrift
Nœuds Kubernetes KubeNodeNotReady, KubeNodePressure
Charges Kubernetes KubePodCrashLooping, KubePodNotReady, KubeDeployment*, KubePodOOMKilled, KubePersistentVolumeFillingUp
Kyverno KyvernoPolicyViolations, KyvernoMetricsMissing
Pile de supervision VmalertRuleErrors, VmalertNotifierErrors, LokiServerErrors
netbird-sync NetbirdSyncErrors, NetbirdSyncDeploymentDown
OPNsense indisponible OpnsenseDown
Invité Proxmox arrêté PveGuestDown
Hôte Proxmox PveNodeDown, PveHostMemoryHigh
Stockage Proxmox PveStorageHigh, PveStorageCritical, ZfsPoolNotOnline, ZfsArcHitRatioLow
Watchdog Watchdog

Conventions de commande

Les commandes des runbooks supposent :

# depuis la racine du dépôt, sur le poste opérateur ou le bastion
export KUBECONFIG="$PWD/.state/kubeconfig"
export TALOSCONFIG="$PWD/.state/talosconfig"
task bootstrap:kubeconfig      # régénère les fichiers s'ils manquent

On entre sur l'hôte Proxmox en SSH (ou à la console), puis dans un LXC avec pct enter <vmid>. Le staff peut aussi passer par le bastion Warpgate.

Machine vmid IP Répertoire Compose
OPNsense (VM) 200 10.20.10.1 -
edge 210 10.20.20.10 /opt/pad/edge
netbird 211 10.20.20.11 /opt/pad/netbird
warpgate 230 10.20.30.10 /opt/pad/warpgate
authentik 240 10.20.40.10 /opt/pad/authentik
monitoring 250 10.20.50.10 /opt/pad/monitoring
docker compose --project-directory /opt/pad/monitoring ps
curl -s -G http://10.20.50.10:8428/api/v1/query --data-urlencode 'query=up == 0'

Les correctifs du cluster passent par Git

ArgoCD écrase toute modification manuelle (selfHeal). Les commandes kubectl des runbooks servent à diagnostiquer ; pour corriger durablement, on modifie gitops/ et on pousse.

Écrire ou modifier un runbook

Chaque alerte doit avoir runbook_url: docs/runbooks/<nom-en-kebab>.md. Pour lister ce que les alertes attendent :

python3 monitoring/scripts/validate.py runbooks

Structure d'un runbook d'alerte : symptômes, alertes concernées, diagnostic (commandes), remédiation, escalade.