Seu disco está configurado para usar o armazenamento "esparso", que expande o disco usado na medida do necessário, portanto, sim, para evitar que isso aconteça em instalações futuras, configure o disco para ser dimensionado no momento da configuração.
O VirtualBox suporta imagens de disco esparsas, na verdade elas são chamadas de imagens "dinâmicas" e são o padrão. A exclusão de um arquivo não faz nenhum tamanho para o disco usado, já que o VirtualBox está operando no nível do bloco, enquanto o arquivo é excluído no nível do sistema de arquivos - e quando uma exclusão é feita, o espaço é simplesmente não usado fora e feito recuperável.
Dependendo do seu caso de uso e requisitos, pode fazer sentido separar os dados e o sistema operacional e armazenar os dados no NFS para semelhantes, de modo que você centralize e tenha controle do espaço em disco no nível do arquivo - no gasto de IO mais lento e configuração mais complexa.