Aller au contenu

Cilium et Hubble

Couche : Cluster Kubernetes · Où : DaemonSet sur tous les nœuds + operator, Hubble relay et UI · Version : chart 1.20.3

À quoi elle sert ici et pourquoi ce choix

Cilium fournit le réseau des pods en eBPF, remplace kube-proxy, attribue les IP des Services LoadBalancer (LB-IPAM) et les annonce en L2, et chiffre le trafic entre nœuds (WireGuard). Hubble donne la visibilité des flux (DNS, drops, TCP) pour le diagnostic réseau. Décision : ADR 9.

Où elle tourne et comment elle est déployée

Installé une première fois par bootstrap/scripts/cluster.sh (Helm, mêmes valeurs que l'Application), puis géré par ArgoCD (gitops/platform/cilium, sync-wave -9). Mode tunnel VXLAN (UDP 8472), IPAM kubernetes.

Version épinglée

Chart cilium 1.20.3 dans gitops/platform/cilium/application.yaml (la version utilisée au bootstrap est lue dans cette Application).

Fichiers de configuration dans le dépôt

  • gitops/platform/cilium/values.yaml : kubeProxyReplacement: true, WireGuard, l2announcements, Hubble (relay, UI, métriques dns, drop, tcp, flow, icmp).
  • gitops/platform/cilium/resources/lb-ipam.yaml : CiliumLoadBalancerIPPool ingress (10.20.60.200-220) et instances (10.20.70.100-199), sélection par le label pad.io/lb-pool, et la politique d'annonce L2.

Interactions avec les autres briques

  • Donne leur IP aux Services : l'ingress Traefik (10.20.60.200) et chaque instance de challenge (pool instances, annoncée par le scénario).
  • Appliqué avec Talos (KubePrism, cni: none).
  • Les NetworkPolicy d'isolement des instances et des namespaces sont appliquées par Cilium ; Kyverno génère le default-deny de chaque inst-* et, pour les instances qui l'ont demandé (pad.io/dns=cluster-local), une CiliumNetworkPolicy qui filtre le DNS (règles dns/matchPattern) pour ne laisser résoudre que *.cluster.local.

Sécurité

  • Chiffrement WireGuard des flux inter-nœuds (UDP 51871).
  • NetworkPolicy default-deny dans chaque namespace applicatif et par instance. Une instance n'a aucun egress, DNS compris par défaut (pas de tunnel DNS vers Internet) ; l'entrée est limitée au routing peer NetBird.
  • Les flux inter-nœuds entre zones PROD et CHALLENGES (VXLAN 8472, WireGuard 51871, health 4240, Hubble 4244) sont asymétriques dans la matrice.
  • Capacités de l'agent restreintes à la liste nécessaire ; Hubble avec TLS automatique (cronJob).
  • UI Hubble exposée en interne (hubble.<domaine>) derrière le forward-auth Authentik.

Supervision

Métriques d'agent (9962) et Hubble (9965) via ServiceMonitors ; alertes de charge : Charges Kubernetes. Pas de runbook dédié.

Opérations courantes

cilium status --wait
hubble observe --namespace ctfd --last 50     # via le relay (port-forward)
kubectl get ciliumloadbalancerippools

Pièges connus

  • hubble.tls.auto.method: cronJob : le mode helm régénérerait les certificats à chaque rendu et laisserait ArgoCD en OutOfSync permanent.
  • Cilium choisit le pool d'IP par serviceSelector (label), pas par annotation : un Service sans le label pad.io/lb-pool n'a pas d'IP.
  • Le trafic intra-zone ne passe pas par OPNsense : c'est Cilium qui l'isole.

  • Namespaces de la plateforme en default-deny-baseline (gitops/platform/namespaces/resources/) : un namespace qui héberge un webhook (admission, conversion) ou une API agrégée doit autoriser en entrée les entités kube-apiserver, remote-node, host sur le port du conteneur (cert-manager 10250/8443, mariadb-operator 9443, keda 9443/6443, kyverno et CAPI 9443). Sans cette règle, toute création d'objet concerné échoue (« failed calling webhook ... context deadline exceeded ») : CTFd est resté sans base de données. De même, un namespace dont un pod sort du cluster doit le déclarer (repo-server d'ArgoCD : egress 443).

  • Un flux entre namespaces s'autorise des deux côtés : egress chez le client, ingress chez le serveur. storage (Valkey, Garage) accepte le front (6379) et ctfd (6379, 3900) ; un nouveau consommateur doit y être ajouté. De même, mariadb-operator sort vers ctfd en 3306 (il crée l'utilisateur, la base et les droits) : une nouvelle base MariaDB dans un autre namespace doit y être ajoutée. keda sort vers VictoriaMetrics (10.20.50.10:8428) pour les déclencheurs Prometheus des ScaledObject. cert-manager sort vers Internet en 443 (ACME, API OVH) et vers ses résolveurs DNS-01 en 53.
  • Les NetworkPolicy Kubernetes en ipBlock ne couvrent pas les IP des nœuds avec Cilium (classées en entités) : la sortie vers l'API server se déclare par une CiliumNetworkPolicy toEntities: [kube-apiserver] (netbird-sync, chall-manager : apiserver-egress.yaml).

Documentation officielle

docs.cilium.io

Retour à l'index des composants