É possível que seu ambiente de máquina virtual esteja com perda de pacotes de rede. Como a primeira etapa de solução de problemas, eu examinaria uma revisão de perda de pacotes e veria se suas retransmissões são muito altas.
Além disso, você possui firewalls de software ou sistemas IDS no servidor virtualizado?