O VirtualBox.exe mostra apenas ~ 100MB porque ele está trocando para o disco nas janelas (ruim e ruim) ou porque ele está bifurcando o serviço para algum outro processo que você não consegue encontrar.
A ferramenta correta para ver o uso da memória do Ubuntu é o Monitor do Sistema. No seu caso, ele diz que está usando 329 de 497 MiB de RAM (isto significa aproximadamente 345 de 521 MB). Isso deve ser tudo para ser honesto, considerando o PAE e como a visualização funciona.