Quanta memória você tem no sistema operacional host? Sem essa informação, não podemos ter certeza, mas pelo que você está descrevendo, eu diria que isso ocorre porque grandes blocos estão sendo paginados da RAM para o arquivo de swap.
Eu estou correndo vagrant com o VirtualBox no Ubuntu 12.04. Quando a VM não está em execução, o uso de memória do sistema é de aproximadamente 2 GB. Eu configurei swappiness em 10% e a memória da VM em 1 GB. Quando eu atiro a VM, estranhamente, o uso da memória cai para 1,5 GB e eu encontro freqüentes curtos congelamentos (porque a memória se comprime?).
Por que isso acontece?
Quanta memória você tem no sistema operacional host? Sem essa informação, não podemos ter certeza, mas pelo que você está descrevendo, eu diria que isso ocorre porque grandes blocos estão sendo paginados da RAM para o arquivo de swap.