Não há como fazer isso de forma eficaz. O ESXi tem um firewall embutido, então você poderia, em teoria, bloquear a interface de gerenciamento para seus endereços IP remotos, mas se o seu endereço IP alguma vez muda ... muito ruim.
Você precisa ter alguma forma de VPN na rede e colocar a interface do ESXi em uma rede privada.