Você não deve passar um arquivo deb para dpkg -r . Você deve especificar apenas nomes de pacotes a serem removidos. Depois de instalar um arquivo deb, as informações sobre ele são incluídas no banco de dados do dpkg ( /var/lib/dpkg/ ), e você pode usar dpkg -r package-name ou apt-get remove package-name .
Tente:
sudo dpkg -r virtualbox-4.1
ou
sudo apt-get remove virtualbox-4.1
Substitua "4.1" pela versão atual do VirtualBox.