Runbooks¶
Un runbook décrit quoi faire quand quelque chose casse ou doit être fait avec méthode. Chaque alerte de la
supervision renvoie à l'un d'eux par son annotation runbook_url : docs/runbooks/<nom>.md.
Procédures¶
| Procédure | Quand |
|---|---|
| Up | déployer, ou reprendre un déploiement interrompu |
| Destroy | supprimer la plateforme (tout sauf l'hôte) |
| Rebuild | détruire puis reconstruire, chronométré |
| Sauvegarde et restauration | avant une opération risquée, après un incident de données |
| Incident générique | une panne dont on ne connaît pas encore la cause |
| Rotation des secrets | rotation planifiée, ou fuite suspectée |
Alertes¶
| Runbook | Alertes |
|---|---|
| Notifications Alertmanager | AlertmanagerNotificationsFailing |
| Télémétrie Alloy | AlloyRemoteWriteFailing, AlloyLogsDropped, ClusterMetricsMissing |
| ArgoCD | ArgoCDOutOfSync, ArgoCDAppUnhealthy, ArgoCDSyncFailed |
| Authentik | AuthentikServerErrors |
| Autoscaling | KedaScalerErrors, HpaMaxedOut, ClusterAutoscaler* |
| Certificats | CertExpiry, CertExpiryCritical, CertManagerCertExpiry, CertManagerCertNotReady |
| CrowdSec | CrowdSecAlertsBurst, CrowdSecDecisionsHigh, CrowdSecNoMetrics |
| CTFd | CtfdDeploymentDown, CtfdMetricsMissing, CtfdMetricsStale, CtfdIncorrectSubmissionsBurst, CtfEventPaused |
| Docker dans un LXC | DockerDaemonDown, DockerHealthchecksFailing |
| Front | FrontendHigh5xxRatio, FrontendCtfdSlow, FrontendMetricsMissing |
| Disque saturé | DiskFull, DiskCritical, DiskWillFillIn24h |
| CPU, mémoire, horloge | HighMemory, HighCpu, OomKillDetected, ClockSkew |
| Ingress | IngressHigh5xxRatio, IngressHighLatency |
| Cible injoignable | InstanceDown |
| Instances de challenges | ChallManagerDeploymentDown, ChallManagerErrorRate, CtfdInstancesDrift |
| Nœuds Kubernetes | KubeNodeNotReady, KubeNodePressure |
| Charges Kubernetes | KubePodCrashLooping, KubePodNotReady, KubeDeployment*, KubePodOOMKilled, KubePersistentVolumeFillingUp |
| Kyverno | KyvernoPolicyViolations, KyvernoMetricsMissing |
| Pile de supervision | VmalertRuleErrors, VmalertNotifierErrors, LokiServerErrors |
| netbird-sync | NetbirdSyncErrors, NetbirdSyncDeploymentDown |
| OPNsense indisponible | OpnsenseDown |
| Invité Proxmox arrêté | PveGuestDown |
| Hôte Proxmox | PveNodeDown, PveHostMemoryHigh |
| Stockage Proxmox | PveStorageHigh, PveStorageCritical, ZfsPoolNotOnline, ZfsArcHitRatioLow |
| Watchdog | Watchdog |
Conventions de commande¶
Les commandes des runbooks supposent :
On entre sur l'hôte Proxmox en SSH (ou à la console), puis dans un LXC avec
pct enter <vmid>. Le staff peut aussi passer par le bastion Warpgate.
| Machine | vmid | IP | Répertoire Compose |
|---|---|---|---|
| OPNsense (VM) | 200 | 10.20.10.1 |
- |
| edge | 210 | 10.20.20.10 |
/opt/pad/edge |
| netbird | 211 | 10.20.20.11 |
/opt/pad/netbird |
| warpgate | 230 | 10.20.30.10 |
/opt/pad/warpgate |
| authentik | 240 | 10.20.40.10 |
/opt/pad/authentik |
| monitoring | 250 | 10.20.50.10 |
/opt/pad/monitoring |
Les correctifs du cluster passent par Git
ArgoCD écrase toute modification manuelle (selfHeal). Les commandes kubectl des runbooks servent à
diagnostiquer ; pour corriger durablement, on modifie gitops/ et on pousse.
Écrire ou modifier un runbook¶
Chaque alerte doit avoir runbook_url: docs/runbooks/<nom-en-kebab>.md. Pour lister ce que les alertes attendent :
Structure d'un runbook d'alerte : symptômes, alertes concernées, diagnostic (commandes), remédiation, escalade.