Réseau et zones¶
Bridges¶
| Bridge | Rôle |
|---|---|
vmbr0 |
WAN. Porte l'IP publique de l'hôte ; la VM OPNsense y branche son interface WAN |
vmbr2 |
bridge VLAN-aware sans uplink : trunk des zones, uniquement routé par OPNsense |
vmbr1 |
transit, seulement en mode WAN nat (voir ci-dessous) |
Zones¶
Source : zones dans infra/contracts.yaml. Chaque zone a la passerelle .1 de son CIDR, portée par OPNsense,
qui est aussi le résolveur DNS (Unbound) de la zone.
| VLAN | Zone | CIDR | Contenu |
|---|---|---|---|
| 10 | MGMT | 10.20.10.0/24 |
interface d'admin OPNsense, hôte Proxmox (10.20.10.2), CI éventuelle |
| 20 | DMZ | 10.20.20.0/24 |
LXC edge (.10), LXC netbird (.11) |
| 30 | BASTION | 10.20.30.0/24 |
LXC warpgate (.10) |
| 40 | IDENTITY | 10.20.40.0/24 |
LXC authentik (.10) |
| 50 | MONITORING | 10.20.50.0/24 |
LXC monitoring (.10) |
| 60 | PROD | 10.20.60.0/24 |
VIP Talos (.5), control plane, workers platform, pool LB d'ingress (.200 à .220) |
| 70 | CHALLENGES | 10.20.70.0/24 |
workers challenges, LXC nbrouter = routing peer NetBird (.10), pool LB des instances (.100 à .199) |
Réseaux internes du cluster : pods 10.244.0.0/16, services 10.96.0.0/12. Overlay NetBird : 100.64.0.0/10.
Modes WAN¶
Deux modes, choisis dans le contrat (wan.mode) :
Une IP publique supplémentaire est routée vers la VM routeur. La NIC WAN d'OPNsense porte cette IP en
/32 (et une MAC dédiée si l'hébergeur l'exige), avec la passerelle de l'hôte déclarée hors sous-réseau
(fargw). IP, passerelle et MAC viennent de secrets/site.sops.yaml. OPNsense reçoit directement le trafic
public : aucune translation sur l'hôte.
Un réseau de transit vmbr1 (10.255.0.0/30, hôte .1, OPNsense .2) relie l'hôte à OPNsense.
Un DNAT nftables posé sur l'hôte par le rôle host-tuning redirige 443, 80 et les ports NetBird vers
OPNsense. Plus simple à obtenir, un saut de plus à diagnostiquer.
Les ports publics (wan.public_ports) : 443/tcp et 80/tcp vers edge, 3478/udp et la plage TURN vers netbird.
Dans les deux modes, OPNsense les redirige (DNAT) de son adresse WAN vers l'IP interne du service. Ces redirections
sont écrites dans le config.xml de bootstrap (stack 10-router, l'API NAT du provider n'existant qu'à partir
d'OPNsense 26.1) ; les règles M1 de la stack 60-opnsense-rules les autorisent. Modifier wan.public_ports demande
de réimporter la configuration : tofu apply -replace=module.opnsense.proxmox_virtual_environment_vm.this dans 10-router.
DNS¶
- Domaine public :
example.net(le vôtre, dans le contrat). Les enregistrements sont créés par la stack70-dnset external-dns. - Domaine interne :
pad.internal(non publié). Résolu par Unbound sur OPNsense (10.20.10.1) : l'overrideregistry.pad.internalvers l'ingress du cluster (10.20.60.200) est posé par la stack60-opnsense-rules. Il sert aussi aux nœuds de la zone CHALLENGES, sans egress Internet, qui tirent leurs images système par le cache pull-through de Zot (Zot). Son certificat vient de la CA internepad-internal-ca(cert-manager). - Les certificats viennent d'ACME en DNS-01 (cert-manager, webhook OVH pour le cluster ; Traefik de
edgepour le public).
Accès d'administration¶
L'hôte Proxmox doit rester joignable indépendamment de la plateforme (SSH, console), de sorte qu'une erreur de règle
OPNsense ou la destruction de la plateforme ne coupe jamais l'accès à l'hôte. La zone MGMT sert à OpenTofu pour joindre OPNsense (https://10.20.10.1) et à CAPMOX pour joindre l'API Proxmox.
Une route retour 10.20.0.0/16 via la passerelle MGMT est posée sur l'hôte par Ansible.
Le poste d'administration joint les zones par une route annoncée par un VPN maillé, qui traduit (SNAT) le trafic vers l'IP mgmt de l'hôte
(interface vmbr2.10). Le pare-feu Proxmox active br_netfilter : la réponse d'un service d'une autre zone, qui traverse le pont en simple pont
(VLAN de la zone vers OPNsense), retomberait sur l'entrée conntrack de la traduction et serait « dé-NATée » sur le pont, puis jetée par OPNsense.
Le rôle host-tuning charge donc la table nftables inet pad_raw (unité pad-raw.service, tag host_bridge_notrack) qui applique notrack aux
trames entrant par le pont des zones (iifname "vmbr2"). Le trafic routé de l'hôte arrive par vmbr2.10 et reste suivi.
Pools d'adresses Cilium¶
Cilium LB-IPAM alloue deux pools, sélectionnés par le label pad.io/lb-pool des Services :
| Pool | Plage | Usage |
|---|---|---|
ingress |
10.20.60.200–10.20.60.220 |
Traefik interne du cluster (10.20.60.200) |
instances |
10.20.70.100–10.20.70.199 |
une IP par instance de challenge, joignable via NetBird |