Mais coisas do que simples latência do TCP podem retardar o desempenho do servidor Windows. Se você é capaz de fazer isso, jogue um sniffer como o Wireshark em um cliente que experimente o carregamento lento de planilhas do Excel e veja como ele fica na tela. Talvez você veja tempos limites suspeitos entre pacotes, como intervalos estranhos de 200 ms entre pacotes. Em seguida, compare o tráfego semelhante a uma máquina não afetada sem VM para ver como deve ficar.
Configurações do driver de rede. Quando você se mudou para o HyperV, inevitavelmente você alterou o driver da NIC. As configurações aqui podem afetar o tráfego de maneiras que o ping não pode diagnosticar ou expor. Coisas como essa são melhor expostas pelo que você está fazendo: copiar arquivos do sistema, criar conexões, navegar por compartilhamentos. Mesmo que tenha mudado de um ponto-rev do HyperV para outro, as versões do driver podem ser ligeiramente diferentes.
Mas os fluxos de pacotes devem lançar mais luz sobre os problemas.