Se sua VM estiver na mesma LAN que seu cliente, você poderá se conectar à sua VM usando a Conexão de Área de Trabalho Remota padrão e desativá-la, como faria em qualquer servidor remoto.
Você precisará permitir conexões remotas no sistema operacional convidado na VM.
Um exemplo no Windows 10:
Windows Explorer
- > Clique com o botão direito do mouse em This PC
- > Properties
- > Advanced system settings
- > Remote
- > Allow remote connections to this computer