Restringir o acesso dessa forma é provavelmente um ganho de segurança (menos serviços expostos), mas somente se você tiver certeza de que a máquina virtual está altamente bloqueada, as contas de usuário são limitadas e usam senhas strongs, a versão RDP e os clientes Estamos usando são as mais recentes especificações e usam criptografia, e você monitora o inferno fora disso.
Dito isto, há muitas ferramentas que você pode usar para implementar esse tipo de modelo, dependendo da sua arquitetura de rede. O melhor lugar para fazê-lo é no seu firewall ou roteador de borda - simplesmente certifique-se de que SOMENTE a máquina virtual tenha a porta RDP exposta à Internet e que as outras máquinas não fiquem tão expostas. O ideal é que você tenha um roteador / firewall desse tipo e ele esteja bloqueado para não permitir conexões a qualquer momento - permitindo apenas as portas que precisam estar disponíveis para os clientes na Internet.
Se você não tem isso, você tem problemas maiores, que devem ser resolvidos antes deste.
Como alternativa, você pode usar o firewall do Windows nas três máquinas dedicadas (suponho que você esteja usando uma versão do Windows com um firewall host disponível) para permitir conexões RDP somente a partir da máquina virtual.
Se nada disso fizer sentido ou parecer fácil, sugiro que você encontre um administrador de rede para ajudar. Se isso não for possível, eu teria lido os documentos da sua versão específica de janelas específicas para as configurações do firewall - talvez iniciando aqui
Boa sorte!