Por padrão, seus arquivos do VirtualBox devem estar localizados em $HOME/VirtualBox VMs/
, então se você navegar até lá, deverá ver facilmente se ainda existem arquivos .vdi
remanescentes.
Se os seus arquivos estiverem em um local não padrão, tente executar o seguinte em uma janela do Terminal para encontrá-los:
find $HOME -iname *.vdi
E quando você encontrar os arquivos, você pode excluí-los manualmente ...
Referências: