Se sua VM estiver na mesma LAN que seu cliente, você poderá se conectar à sua VM usando a Conexão de Área de Trabalho Remota padrão e desativá-la, como faria em qualquer servidor remoto.
Você precisará permitir conexões remotas no sistema operacional convidado na VM.
Um exemplo no Windows 10:
Windows Explorer - > Clique com o botão direito do mouse em This PC - > Properties - > Advanced system settings - > Remote - > Allow remote connections to this computer

