Por que você colocaria seus switches etc na Internet pública? Isso cheira a loucura.
Sugiro que você tenha duas VLANs - uma para seu tráfego interno (um 192.168.x.x por exemplo) e uma DMZ para seu tráfego público (seu intervalo 66.x.47.x).
Do ponto de vista de segurança, não faz sentido colocar seus servidores de backup e seu switch na rede pública. É só pedir problemas.
O ESXi suporta VLAN Tagging para vNICs, portanto, não deve ser um problema apenas atribuir dois vNICs às suas máquinas virtuais e ter um na rede privada e outro no público. Em seguida, basta atribuir seus endereços IP públicos às máquinas virtuais que precisam deles.
O que você vai querer no final do dia é algo parecido com isso :
Quanto a solicitações que o ESXi não "conhece", elas serão roteadas por meio do seu gateway padrão, como de costume. Seu gateway deve ser inteligente o suficiente para saber que esses endereços IP estão em sua própria rede (um Cisco ASA configurado corretamente é muito inteligente), então os encaminhará de volta para você (de preferência na vLAN com os endereços IP públicos). Isso não é diferente de qualquer outra rede e não é específico apenas para o ESXi.