Verifique se você não está executando outros aplicativos além do KVM (ou pelo menos nada que precise de muitos recursos).
Verifique se você está dando memória suficiente para versões mais novas do Windows (pelo menos 2 GiB para o Vista e depois, embora 4 GiB seria melhor) sem tirar muito do host (geralmente evito dar aos convidados mais nada mais da metade da memória disponível no host, e até mesmo isso está empurrando para mim).
Se você conseguir dedicar um disco inteiro ao convidado, isso seria melhor, e apenas deixe que ele tenha acesso direto a ele.
Finalmente, considere dar uma prioridade maior à VM, embora, na minha experiência, isso não resulte em ganhos significativos de desempenho, mas não fiz nenhum teste para afirmar isso de forma conclusiva.