Enquanto uma instalação de desktop padrão do Ubuntu usa em torno de 400-700MB você pode tentar uma instalação do Ubuntu Server. As despesas gerais são drasticamente reduzidas, pois não há GUI. Eu não tenho nenhuma experiência com outros tipos de linux, então não posso dizer em relação à sua eficácia.
Você tem que usar o VirtualBox? Considere usar um pacote de virtualização bare-metal como o ESXi (o VirtualBox, por outro lado, precisa de um sistema operacional já instalado).