Depende de como você está gerenciando suas VMs.
No entanto, você pode configurar o firewall no host da VM para fazer isso. Você pode configurar regras que funcionam apenas com o endereço MAC específico da placa ethernet virtual. Os ethernets virtuais são tipicamente ligados a um host.
Você também pode usar uma combinação diferente de IP / sub-rede para cada IP individual e, em seguida, executar o roteamento necessário no firewall do host também.
Você pode até mesmo empregar algumas tags de VLAN se o seu equipamento suportar isso para isolar logicamente as diferentes máquinas em redes diferentes.
Essencialmente, tudo é networking.