Uma possibilidade é que você também esteja vendo a memória usada pelo próprio processo do VirtualBox, embora a quantidade que você relata ainda seja altamente irracional.
Então, parece-me que você encontrou um vazamento de memória ou outro bug de memória no VirtualBox.
No google, pelo menos, a consulta "vazamento de memória do VirtualBox" retorna 346.000 resultados, que são realmente muitos para analisar ainda mais!
Você pode considerar a atualização para a versão atual do VirtualBox 4.0.6, na esperança de que o bug seja corrigido. Caso contrário, tente estabelecer contato com os desenvolvedores por meio da Comunidade do VirtualBox .