Parece que você instalou o VirtualBox a partir de um arquivo instalador ao invés de um repositório apt - possivelmente além de instalar a partir de um repositório apt (o último que você parece já ter removido, se existisse). Se a versão do VirtualBox for 2.2.2 ou posterior, você pode fazer isso:
sudo /opt/VirtualBox/uninstall.sh
Se for uma versão anterior (2.2.1 ou anterior), você precisa encontrar o arquivo do instalador que você baixou (ou baixar novamente) e executá-lo no mesmo diretório que o arquivo:
./VirtualBox.run uninstall
Se você não conseguir encontrar o arquivo de instalação apropriado para uma versão 2.2.1 ou anterior, precisará remover todos os arquivos manualmente. Para fazer isso, execute as etapas de "instalação manual" em ordem inversa, excluindo os arquivos em vez de criar / mover / copiar, apagando links simbólicos em vez de criá-los, removendo as edições dos arquivos de configuração, etc .: