Eu entendi!
Há um enorme vazamento de memória no sistema host quando o menu principal do Ubuntu (lente Unity) é exibido. Ele come aprox. 100 MB a cada segundo. Estranhamente, isso não é visto no monitor do sistema convidado.
O trabalho está desabilitando a aceleração 3D no Virtual Box. Eu posso viver com isso, mas é obviamente um vazamento sério de memória, então acho que vou reportar um bug.
Eu ainda estaria interessado em ver se outras pessoas estão tendo esse problema também.
Estou usando o VirtualBox v4.3.18 agora.