6,6 GB é requisito mínimo para o Ubuntu. Os 20 GB que você aloca são para criar um disco rígido virtual. É como você disse "Aqui caixa virtual, eu vou dar-lhe 20 GB de disco rígido e instalar algo lá."
O instalador sempre verifica se você tem espaço suficiente no disco para instalar o sistema básico. Isso significa que você terá 20 - 6,6 GB = 13,4 GB gratuitos para suas necessidades pessoais
Eu pessoalmente aloquei apenas 8 GB para o Ubuntu no VirtualBox porque eu não instalo tantos softwares lá, mas dependendo de suas necessidades você pode chegar lá mais ou menos, contanto que não seja abaixo de 6,6 GB.