Existem algumas coisas que você pode fazer.
- Reduza a memória que você fornece para a VM para metade da memória total do sistema ou menos. Se o host não tiver memória suficiente para funcionar sem problemas, isso afetará o convidado. Normalmente, o Windows precisa de mais memória e o Linux precisa de menos.
- Ative as extensões de VT nas configurações do VBox. Isso usa o suporte de hardware incorporado em sua CPU, se você a tiver disponível.
- Desative os efeitos da área de trabalho, como o Compiz, no convidado da VM. O VBox 2.2.2 tem suporte para aceleração 3D em VMs, mas o 3D ainda atrasa um pouco as coisas.
Espero que isso ajude.
EDITAR:
Outra coisa que você pode fazer é executar top em uma janela de terminal na VM e ver se há um processo específico comendo a CPU ou a memória.
O Windows fica mais lento quando você tem problemas com a VM?