Matrice de flux¶
OPNsense applique un deny all par défaut, journalisé. Seuls les flux ci-dessous sont autorisés. Ils sont
déclarés dans la stack OpenTofu 60-opnsense-rules, à partir des ports du contrat (flow_ports), et jamais saisis
à la main dans l'interface.
Règles¶
| Réf. | Source | Destination | Ports | Pourquoi |
|---|---|---|---|---|
| M0 | hôte Proxmox (IP mgmt 10.20.10.2) |
toutes les zones | 22, 443, 6443, 50000 | le rebond SSH d'Ansible vers les LXC passe par l'hôte, et le trafic du poste opérateur vers 10.20.0.0/16 arrive par la route annoncée du VPN maillé, traduit (SNAT) vers l'IP mgmt de l'hôte ; sans M0, le blocage par défaut refuse SSH hôte vers LXC (phase 4 en échec « SSH injoignable ») |
| M0 | hôte Proxmox (IP mgmt) | LXC warpgate | 8888, 2222 | UI d'administration de Warpgate (jeton d'API créé avant la phase 11, quand NetBird ne route pas encore le staff) et API appelée par la stack tofu 50-warpgate depuis le poste opérateur (règle m0-host-warpgate) |
| M1 | Internet | edge (DMZ), netbird (DMZ) |
443/tcp, 80/tcp ; 3478/udp et plage TURN | seule exposition publique |
| M2 | edge |
ingress du cluster (10.20.60.200) |
80, 443 | proxy vers le front et CTFd |
| M3 | edge |
authentik (IDENTITY) |
443 | proxy vers l'IdP |
| M5 | staff NetBird (LXC netbird) |
warpgate (BASTION) |
2222, 8888 | le staff n'atteint que le bastion |
| M6 | BASTION | toutes les zones | 22, 443, 6443, 50000 | SSH, HTTPS, API Kubernetes, API Talos ; plus SSH/GUI d'OPNsense |
| M7 | toutes les zones | monitoring |
8428, 3100, 4317, 4318 | push uniquement (remote_write, Loki, OTLP) |
| M8 | monitoring |
toutes les zones | 9000-9999, 10249, 10250, 12345 | scrape uniquement |
| M9 | PROD | API Proxmox (10.20.10.2:8006) |
8006 | CAPMOX et CSI |
| M10 | workers CHALLENGES (6443) ; zone CHALLENGES (DNS) | API Kubernetes ; DNS interne | 6443, 53 | l'API kube n'est ouverte qu'aux IP des workers (ni routing peer NetBird, ni IP d'instances) ; egress Internet par allowlist |
| M10 (NTP) | CHALLENGES | OPNsense (.1 de la zone) |
UDP 123 | les nœuds Talos de la zone CHALLENGES (sans egress Internet) prennent l'heure sur OPNsense (machine.time.servers) ; sans heure synchronisée, Talos ne démarre pas le kubelet |
| M10 (registre) | workers CHALLENGES (nœuds uniquement) | ingress du cluster (10.20.60.200) |
443 | sans egress Internet, les nœuds tirent toutes leurs images de Zot (registry.pad.internal, override Unbound vers l'ingress) : ctf/ pour les instances, cache pull-through mirror/<registre>/ pour kubelet, pause, Cilium, CSI, Alloy, node-exporter ; ni le routing peer NetBird ni les IP d'instances |
| I1 | toutes les zones | OPNsense | 53 | DNS Unbound |
| I2 | toutes les zones | edge |
443 | split-DNS : les noms publics (auth, vpn, front, status) résolvent vers l'IP interne de l'edge (overrides Unbound), qui relaie vers authentik (M3) ; back-channel OIDC |
| I3 | nœuds Kubernetes PROD et CHALLENGES, asymétrique | nœuds Kubernetes de l'autre zone | PROD vers CHALLENGES : kubelet 10250 (control plane seul), Cilium health 4240 et Hubble 4244, VXLAN 8472, WireGuard 51871. CHALLENGES vers PROD : trustd 50001 (control plane seul), Cilium health 4240, VXLAN 8472, WireGuard 51871 | cluster étendu sur deux zones ; un worker challenges compromis n'atteint ni kubelet ni apid du control plane (apid : bastion seul, M6) |
| I4 | edge |
monitoring |
3001 | page de statut Uptime Kuma |
| I5 | zones listées | Internet (hors plages privées) | 80, 443, 53 (TCP/UDP), 123/udp | mises à jour, ACME (dont DNS-01 : résolveurs publics et serveurs faisant autorité) ; activable par zone |
M1 ne fait qu'autoriser le trafic : la redirection de ports WAN (DNAT vers edge et netbird) est posée par le
config.xml de bootstrap (stack 10-router), sans règle de filtre associée, car l'API d_nat n'existe qu'à partir
d'OPNsense 26.1. Changer wan.public_ports impose de réimporter la configuration
(tofu apply -replace=module.opnsense.proxmox_virtual_environment_vm.this dans 10-router).
Les joueurs ne sont pas dans cette table : ils atteignent les instances par NetBird, dont les policies sont
créées dynamiquement par netbird-sync. Voir Cycle de vie d'une instance.
Routing peers¶
Deux routing peers NetBird, un par zone, pour que la règle « CHALLENGES vers rien » reste vraie :
| Peer | Zone | Network NetBird | Qui y accède |
|---|---|---|---|
challenges (LXC nbrouter, 10.20.70.10) |
CHALLENGES | pad-instances |
joueurs, uniquement vers les IP d'instances de leur équipe |
bastion (LXC warpgate) |
BASTION | pad-bastion |
staff, uniquement vers le bastion |
Le routing peer est en masquerade : les cibles voient l'IP du routing peer. Le trafic vers les IP d'instances reste dans la
zone CHALLENGES (aucune règle). Les règles N1 à N6 de 60-opnsense-rules ne couvrent que la sortie des deux routing peers
vers le management/relay (HTTPS), STUN (UDP 3478), le WireGuard direct entre pairs (UDP 1024-65535, désactivable par
netbird_routers_direct_udp) et, pour nbrouter, apt et NTP. Enrôlement : rôle netbird-agent, voir
NetBird.
Refus journalisés¶
Tout paquet refusé est journalisé par OPNsense. La collecte de ces blocages dans Loki (syslog) fait partie des limites connues. Pour diagnostiquer un refus, voir le runbook d'incident.
Vérifier la matrice¶
task verify contrôle l'isolement de CHALLENGES vers IDENTITY. Une validation complète consiste à lancer nmap
depuis chaque zone et à comparer avec ce tableau.