Cilium et Hubble¶
Couche : Cluster Kubernetes · Où : DaemonSet sur tous les nœuds + operator, Hubble relay et UI · Version : chart 1.20.3
À quoi elle sert ici et pourquoi ce choix¶
Cilium fournit le réseau des pods en eBPF, remplace kube-proxy, attribue les IP des Services LoadBalancer (LB-IPAM) et les annonce en L2, et chiffre le trafic entre nœuds
(WireGuard). Hubble donne la visibilité des flux (DNS, drops, TCP) pour le diagnostic réseau. Décision : ADR 9.
Où elle tourne et comment elle est déployée¶
Installé une première fois par bootstrap/scripts/cluster.sh (Helm, mêmes valeurs que l'Application), puis géré par ArgoCD (gitops/platform/cilium, sync-wave -9). Mode tunnel VXLAN (UDP 8472), IPAM kubernetes.
Version épinglée¶
Chart cilium 1.20.3 dans gitops/platform/cilium/application.yaml (la version utilisée au bootstrap est lue dans cette Application).
Fichiers de configuration dans le dépôt¶
gitops/platform/cilium/values.yaml:kubeProxyReplacement: true, WireGuard,l2announcements, Hubble (relay, UI, métriquesdns, drop, tcp, flow, icmp).gitops/platform/cilium/resources/lb-ipam.yaml:CiliumLoadBalancerIPPoolingress(10.20.60.200-220) etinstances(10.20.70.100-199), sélection par le labelpad.io/lb-pool, et la politique d'annonce L2.
Interactions avec les autres briques¶
- Donne leur IP aux Services : l'ingress Traefik (
10.20.60.200) et chaque instance de challenge (poolinstances, annoncée par le scénario). - Appliqué avec Talos (KubePrism,
cni: none). - Les
NetworkPolicyd'isolement des instances et des namespaces sont appliquées par Cilium ; Kyverno génère ledefault-denyde chaqueinst-*et, pour les instances qui l'ont demandé (pad.io/dns=cluster-local), uneCiliumNetworkPolicyqui filtre le DNS (règlesdns/matchPattern) pour ne laisser résoudre que*.cluster.local.
Sécurité¶
- Chiffrement WireGuard des flux inter-nœuds (UDP 51871).
NetworkPolicydefault-deny dans chaque namespace applicatif et par instance. Une instance n'a aucun egress, DNS compris par défaut (pas de tunnel DNS vers Internet) ; l'entrée est limitée au routing peer NetBird.- Les flux inter-nœuds entre zones PROD et CHALLENGES (VXLAN 8472, WireGuard 51871, health 4240, Hubble 4244) sont asymétriques dans la matrice.
- Capacités de l'agent restreintes à la liste nécessaire ; Hubble avec TLS automatique (cronJob).
- UI Hubble exposée en interne (
hubble.<domaine>) derrière le forward-auth Authentik.
Supervision¶
Métriques d'agent (9962) et Hubble (9965) via ServiceMonitors ; alertes de charge : Charges Kubernetes. Pas de runbook dédié.
Opérations courantes¶
cilium status --wait
hubble observe --namespace ctfd --last 50 # via le relay (port-forward)
kubectl get ciliumloadbalancerippools
Pièges connus¶
hubble.tls.auto.method: cronJob: le modehelmrégénérerait les certificats à chaque rendu et laisserait ArgoCD enOutOfSyncpermanent.- Cilium choisit le pool d'IP par
serviceSelector(label), pas par annotation : un Service sans le labelpad.io/lb-pooln'a pas d'IP. -
Le trafic intra-zone ne passe pas par OPNsense : c'est Cilium qui l'isole.
-
Namespaces de la plateforme en
default-deny-baseline(gitops/platform/namespaces/resources/) : un namespace qui héberge un webhook (admission, conversion) ou une API agrégée doit autoriser en entrée les entitéskube-apiserver, remote-node, hostsur le port du conteneur (cert-manager 10250/8443, mariadb-operator 9443, keda 9443/6443, kyverno et CAPI 9443). Sans cette règle, toute création d'objet concerné échoue (« failed calling webhook ... context deadline exceeded ») : CTFd est resté sans base de données. De même, un namespace dont un pod sort du cluster doit le déclarer (repo-server d'ArgoCD : egress 443). - Un flux entre namespaces s'autorise des deux côtés : egress chez le client, ingress chez le serveur.
storage(Valkey, Garage) accepte le front (6379) etctfd(6379, 3900) ; un nouveau consommateur doit y être ajouté. De même,mariadb-operatorsort versctfden 3306 (il crée l'utilisateur, la base et les droits) : une nouvelle base MariaDB dans un autre namespace doit y être ajoutée.kedasort vers VictoriaMetrics (10.20.50.10:8428) pour les déclencheurs Prometheus des ScaledObject.cert-managersort vers Internet en 443 (ACME, API OVH) et vers ses résolveurs DNS-01 en 53. - Les
NetworkPolicyKubernetes enipBlockne couvrent pas les IP des nœuds avec Cilium (classées en entités) : la sortie vers l'API server se déclare par uneCiliumNetworkPolicytoEntities: [kube-apiserver](netbird-sync, chall-manager :apiserver-egress.yaml).