Apenas para completar, e também para mim no futuro ...
mesmo depois de fazer tudo, mesmo que a resposta do SmallLoanOf1M estivesse me ajudando muito a resolver o meu problema, ele não estava funcionando o tempo todo ...
Descobri que o problema era que a entrada ARP para o gateway não estava preenchida. Eu precisava fazer um arp -s 1.2.3.254 00: de: ad: be: ef: ff e depois de adicioná-lo ao processo de inicialização para ter certeza de que ele realmente foi inserido, agora ele funciona toda vez ...
Então a configuração final que eu tenho é essa:
Gateway of my ISP: 1.2.3.254/32
pfSense WAN: 192.168.99.1/30
CARP VIP WAN: 5.4.3.2/32
AON
Source: any
Source Port : *
Destination: *
Destination Port: *
NAT Address: CARP VIP WAN (5.4.3.2/32)
Nat Port: *
Static Port: Randomize Source Port
Add ARP entry for the Gateway (in my case 00:de:ad:be:ef:ff)
deus ... algumas horas / dias perdidos para isso :-( Pelo menos, agora eu sei! E Espero que isso possa ajudar alguns de vocês que tiveram um problema semelhante ao deste.