Embora isso não seja uma solução para a causa raiz do problema (o baixo desempenho), pode ajudar um pouco a lidar com isso: você pode querer ir para Sistema → Configurações avançadas do sistema → Quadro de desempenho, botão Configurações, em seguida, selecione "Ajustar para melhor desempenho". Isso deve impedir que o Windows tente animar quando você minimizar uma janela, por exemplo.
Como obter um bom vídeo o desempenho para acesso remoto a computadores virtualizados? sugere alguns métodos para acelerar vídeos como o YouTube. Alguns deles podem não ser relevantes para os hosts do Linux, mas o link pode ser relevante para você.