O problema é isolado apenas para áudio ou é um abrandamento geral de todo o sistema, um sistema do qual é o atraso do som?
De acordo com o comentário acima; Eu tentaria desabilitar o dispositivo de som na VM.
Caso contrário, tente limitar os recursos fornecidos à VM, se isso for uma tributação de todo o sistema que poderia ser o problema.
Se você ainda estiver lutando, tente uma versão do servidor para o Windows; eles são otimizados para vários usuários por meio de serviços de terminal, portanto, devem ser capazes de lidar melhor com muitos usuários conectados ao mesmo tempo.