Kyverno¶
Couche : Plateforme GitOps · Où : pods du cluster (namespace kyverno, pool platform) · Version : chart 3.9.1
À quoi elle sert ici et pourquoi ce choix¶
Garde-fou d'admission : impose les règles de la plateforme sans dépendre de la discipline des auteurs de manifestes. Kyverno applique PSS « restricted » aux pods,
exige des requests/limits, refuse le tag latest, et, pour chaque namespace d'instance inst-*, génère le default-deny, une ResourceQuota et un LimitRange,
impose des images du registre interne épinglées par empreinte, et vérifie les signatures cosign (mode audit par défaut, enforce sur décision de l'opérateur).
Décision : ADR 14.
Où elle tourne et comment elle est déployée¶
Deux Applications ArgoCD : kyverno (chart, sync-wave -6) et kyverno-policies (politiques, vague -4). Contrôleur d'admission en 2 réplicas (un par worker, anti-affinité préférée, PodDisruptionBudget minAvailable: 1), contrôleurs background et reports en 1 réplica, sur le pool platform. Deux et non trois réplicas : sur 2 workers un 3e ne tolère pas plus de pannes de nœud et coûte 160 Mi de requests ; à relever si le pool platform grandit.
Version épinglée¶
Chart kyverno 3.9.1 dans gitops/platform/kyverno/application.yaml.
Fichiers de configuration dans le dépôt¶
gitops/platform/kyverno/policies/ :
| Politique | Mode | Effet |
|---|---|---|
pss-restricted.yaml |
Enforce | PSS « restricted » sur les pods |
require-requests-limits.yaml |
Enforce | requests et limits obligatoires |
disallow-latest-tag.yaml |
Enforce | pas de tag latest |
add-default-networkpolicy.yaml |
génération | default-deny (entrée et sortie, sans autorisation DNS) dans chaque inst-* |
instance-guardrails.yaml |
génération | ResourceQuota et LimitRange pad-instance dans chaque inst-* ; CiliumNetworkPolicy DNS limitée à cluster.local si le namespace porte pad.io/dns=cluster-local (opt-in) |
pdb-unhealthy-eviction.yaml |
mutation | tout PodDisruptionBudget (y compris ceux des charts) reçoit unhealthyPodEvictionPolicy: AlwaysAllow : un pod en échec n'empêche plus le drain d'un nœud |
rbac-background-controller.yaml |
RBAC | rôles agrégés : écriture des ressources générées/mutées pour le background controller, lecture pour l'admission controller (Kyverno refuse une politique dont il ne peut pas lire les cibles) ; sync-wave -1, avant les politiques |
restrict-instance-images.yaml |
toujours Enforce | pods inst-* : image sous registry.pad.internal/ctf/ et épinglée par @sha256: |
verify-images.yaml (verify-images et verify-images-audit) |
selon pad-image-policy |
signatures cosign, inst-* (clé publique) et ctfd, frontend, netbird-sync (keyless) |
Plus image-policy-configmap.yaml (ConfigMap kyverno/pad-image-policy : mode et clé publique cosign.pub) et rbac-background-controller.yaml (droits de génération :
networkpolicies, ciliumnetworkpolicies, resourcequotas, limitranges).
Quota par instance (2 x les plafonds du contrat instances.limits_max) : 2 pods, 2 CPU de requests (4 de limits), 2 Gi de mémoire, 2 Gi de disque éphémère, 2 Services dont 1 LoadBalancer,
aucun NodePort ni PVC. LimitRange par conteneur : défauts 500m / 256Mi / 256Mi de disque éphémère, plafonds 2 CPU / 1Gi / 1Gi.
Interactions avec les autres briques¶
Intercepte les créations de pods de toutes les applications, y compris les pods d'instance créés par le scénario ; vérifie les images signées par la CI (cosign et Trivy).
Sécurité¶
- Mode de vérification des signatures :
modedu ConfigMappad-image-policy(auditpar défaut,enforce), à tenir identique àinstances.image_verificationdu contrat. Enaudit,verify-images-audit(failurePolicy: Ignore) rapporte sans bloquer ; enenforce,verify-images(failurePolicy: Fail) refuse les images non signées. Tant quecosign.pubvautCHANGEME, la règle du registre interne reste en audit même enenforce. Procédure : Images signées. - Disponibilité : en
enforce, un Kyverno indisponible bloque la création de pods dansinst-*,ctfd,frontendetnetbird-sync(le webhook est limité à ces namespaces ;kube-systemetkyvernone sont jamais concernés). - Images d'instance :
restrict-instance-imagesne dépend ni du mode ni de la clé, c'est la dernière barrière si le schémachallenge.ymlet le scénario sont contournés. - Les namespaces d'instance sont créés par le scénario ; les ressources générées sont synchronisées (
synchronize: true) : une modification à la main est écrasée.
Supervision¶
Alertes KyvernoPolicyViolations, KyvernoMetricsMissing : Kyverno ; ServiceMonitors sur l'admission et le background controller.
Opérations courantes¶
kubectl get clusterpolicies
kubectl get policyreports -A
kubectl describe clusterpolicy pss-restricted
kubectl -n inst-<id> get resourcequota,limitrange,networkpolicy,ciliumnetworkpolicy
kubectl -n kyverno get cm pad-image-policy -o jsonpath='{.data.mode}'
Pièges connus¶
- Le background controller a besoin de droits RBAC supplémentaires pour générer NetworkPolicy, CiliumNetworkPolicy, ResourceQuota et LimitRange (
rbac-background-controller.yaml). - Une instance qui plafonne (
Forbidden: exceeded quota) ou qui est évincée pour disque éphémère n'est pas une panne : relire leslimits_*duchallenge.yml(plafonds du contrat). - Un pod sans
requests/limitsou en:latestest refusé : c'est voulu, corriger le manifeste.