Virtualizamos todas as nossas caixas de desenvolvimento e usamos o RDP para trabalhar em sites de escritórios, residências e clientes. Recebemos a falha estranha, mas não vemos problemas de desempenho como a sua experiência. Existem alguns problemas em torno das configurações da placa de rede no Hyper-V (google TCPOffload eu acho) que você pode estar enfrentando.