Se você usar NICs Broadcom, tente desabilitar o VMQ em um comutadores virtuais e em um adaptador físico de rede: link
Você também pode verificar se há as mais recentes unidades do Hyper-V instaladas.
Além disso, seus arquivos VHDX estão formatados em NTFS?
Mais uma coisa que vem à mente é a MTU. Tente mudá-lo para 9000. Mas geralmente dá apenas um pequeno aumento de desempenho.