Seu problema: o Virtual Box mantém sua pasta e configurações em sua pasta pessoal. Exclua tudo dentro da pasta.
Desinstale o VirtualBox primeiro.
sudo apt-get remove --purge virtualbox
Execute esses comandos para excluir todas as máquinas virtuais e configurações e os discos rígidos virtuais :
sudo rm ~/"VirtualBox VMs" -Rf
sudo rm ~/.config/VirtualBox/ -Rf
Se você deseja instalá-lo novamente. Execute este comando:
sudo apt-get install virtualbox