Existe (na maioria das vezes) um problema chamado vazamento de memória nos programas. Navegadores como o Chrome, Opera, IE, Firefox e outros são conhecidos por isso (o Firefox era o rei até versões recentes). Deixar Chrome / Chromium, mesmo sem fazer nada sobre eles depois de verificar várias páginas, começará lentamente a aumentar o uso de memória para "sem aparente recente". O vazamento de memória aumenta ou tem uma chance maior de aumentar (e aumentar mais rapidamente) se o aplicativo usado usar mais memória. No seu caso você tem também o Virtualbox e mesmo que eu configure o virtualbox para um convidado de 1GB, cerca de 30 minutos depois você verá que o 1GB acabou de ir para 1.2GB, depois 1.4GB e assim por diante. Isso é apenas erros comuns que precisam ser consertados. O mesmo vale para o Nautilus e qualquer outro aplicativo que tenha muita atividade.
Seria bom saber quanto tempo você os abriu. Se é menos de uma hora, então pode haver algo realmente errado lá, mas se é mais, então me desculpe, mas é algo que eu me adaptei. Normalmente eu fecho virtualbox de vez em quando. O mesmo para os navegadores.
Isso pode não explicar quase 100% de drenagem, mas se for dado tempo suficiente, será a primeira razão.
Também seria bom ver top
output, se você estiver usando o PAE em um Ubuntu de 32 bits com 8 GB de RAM ou 64 bits e quaisquer outras ferramentas carregando em segundo plano.
INFO - link (não conhecia o termo real Memory Leak existia. Pensei ter inventado o nome. )