Use a rede NAT / somente host para solucionar problemas como este. O que eu acredito é que quando você se conecta à máquina host através do RDP, ele assume a NIC e também o IP, portanto, sua VM perde a conectividade. Minha sugestão, porém, usar NAT e configurar o encaminhamento de porta corretamente, você seria bom para ir. Tudo de bom.