Com o VirtualBox, você aloca um disco rígido virtual como mencionado acima.
Você mencionou que alocou 9,5 GB para o Windows. Simplesmente apague este Drive Virtual e todo o espaço é devolvido para você.
Como a resposta de user146001 menciona, no seu diretório Home, você habilita "Show Hidden Files" (ou pressione Ctrl + H para ver os arquivos ocultos) e encontra sua pasta .VirtualBox. Lá, vá para a sua pasta HardDisks e simplesmente exclua os arquivos .vdi, pois estes são os arquivos de suas unidades virtuais.
Você pode fazer isso através do terminal ou do gerenciador de arquivos.
Por favor, visite este link mais informações sobre o VirtualBox e visite aqui para métodos alternativos (ou até mesmo recomendados) de remoção de Discos Rígidos Virtuais.