O WinXP requer 64 MB de RAM (128 recomendado): link
O Ubuntu requer 512 MiB de RAM: link
Faça as contas, leve em conta a RAM que você precisa para os aplicativos do Windows (serviços básicos, antivírus, firewall, VirtualBox) e a RAM que você precisa para os aplicativos do Ubuntu, e atualize sua memória RAM de acordo.