Instances de challenges¶
Création, renouvellement et destruction d'instances par chall-manager. Cinq alertes : chall-manager arrêté, taux d'erreurs élevé, remplissage du pool d'IP des instances, ou écart entre les instances que CTFd croit actives et les namespaces inst-* réels.
Symptômes¶
ChallManagerDeploymentDown(critique) : plus aucun pod chall-manager.ChallManagerErrorRate: plus de 20 % d'opérations en erreur sur 10 minutes.CtfdInstancesDrift: écart supérieur à 5 entre les instances actives selon CTFd et les namespacesinst-*pendant 30 minutes (instances orphelines ou nettoyage bloqué).InstancesLBPoolFilling(plus de 80 Services LoadBalancer d'instances) etInstancesLBPoolExhausted(98 ou plus, critique) : le pool LB-IPAMinstances(100 adresses) se remplit.- Des joueurs ne peuvent plus lancer d'instance (502 de l'API, ou 503 « nombre maximal d'instances » : limite globale
instances.max_total), ou leur instance a disparu.
Alertes concernées¶
| Alerte | Sévérité | Durée | Résumé |
|---|---|---|---|
ChallManagerDeploymentDown |
critical | 3m | chall-manager n'a plus aucun pod disponible |
ChallManagerErrorRate |
warning | 10m | Plus de 20 % d'erreurs dans chall-manager |
CtfdInstancesDrift |
warning | 30m | Écart entre les instances de CTFd et celles du cluster |
InstancesLBPoolFilling |
warning | 5m | Le pool d'IP des instances est rempli à plus de 80 % |
InstancesLBPoolExhausted |
critical | 2m | Le pool d'IP des instances est presque épuisé |
Expressions PromQL
# ChallManagerDeploymentDown
kube_deployment_status_replicas_available{namespace="chall-manager", deployment="chall-manager"} == 0
# ChallManagerErrorRate
sum(rate(traces_spanmetrics_calls_total{service="chall-manager", status_code="STATUS_CODE_ERROR"}[10m])) / clamp_min(sum(rate(traces_spanmetrics_calls_total{service="chall-manager"}[10m])), 1e-9) > 0.2 and sum(rate(traces_spanmetrics_calls_total{service="chall-manager"}[10m])) > 0.01
# CtfdInstancesDrift
abs(pad:instances_active - pad:instances_namespaces) > 5
# InstancesLBPoolFilling
count(kube_service_spec_type{namespace=~"inst-.+", type="LoadBalancer"} == 1) > 80
# InstancesLBPoolExhausted
count(kube_service_spec_type{namespace=~"inst-.+", type="LoadBalancer"} == 1) >= 98
Diagnostic¶
export KUBECONFIG="$PWD/.state/kubeconfig"
kubectl -n chall-manager get pods
kubectl -n chall-manager logs deploy/chall-manager --tail=100
# Instances réelles
kubectl get ns | grep '^inst-'
kubectl get svc -A --field-selector spec.type=LoadBalancer
kubectl get ciliumloadbalancerippool
# Une instance qui ne démarre pas
kubectl -n inst-<id> get pods,events
Remédiation¶
- chall-manager arrêté : Charges Kubernetes. Il est limité à 1 réplica (stockage RWO) : un pod bloqué sur un volume mal détaché est une cause classique.
- Erreurs de création : (1) image introuvable ou refusée par Zot (
ImagePullBackOffdans le namespace d'instance) ; (2) pod refusé par Kyverno (PSS restricted : l'image doit tourner en non-root ;restrict-instance-images: image sousregistry.pad.internal/ctf/et épinglée par@sha256;ResourceQuotadépassé, voir Kyverno) ; (2b) le nœud challenges ne peut pas tirer l'image faute de règle d'accès Zotctf/**ou d'identifiants de pull ; (3) pool d'adressesinstancesépuisé (10.20.70.100-.199, 100 adresses) ; (4) plus de nœud disponible, voir Autoscaling. - Dérive : comparer les namespaces
inst-*à la liste d'instances (les managers voient les instances de test dans le portail). Un namespace orphelin se détruit aveckubectl delete ns inst-<id>après avoir vérifié qu'il n'appartient à aucune instance active ; le finalizerpad.io/netbird-syncretire alors la policy NetBird (voir netbird-sync). - Instance perdue côté joueur : l'API
DELETE /api/v1/instances/<challenge_id>est idempotente ; relancer l'instance depuis l'interface. - Pool d'IP presque plein : la limite globale CTFd (
instances.max_total, 90 par défaut, variablePAD_INSTANCES_MAX_TOTAL) doit empêcher d'y arriver ; si l'alerte part quand même, chercher des Services orphelins (kubectl get svc -A | grep inst-), purger les namespaces orphelins (point 3), puis baissermax_total. Pour agrandir le pool, étendrekubernetes.lb_pools.instancesdans le contrat etgitops/platform/cilium/resources/lb-ipam.yaml. - Si la cause est un challenge précis, le passer en
hiddendepuis le portail manager le temps de le corriger.
Escalade¶
Pendant l'événement, une panne de chall-manager n'empêche pas de scorer les challenges statiques. Annoncer l'incident aux participants des challenges instanciés.
Retour à l'index des runbooks.