Suas fontes para o apt-get são armazenadas em /etc/apt/sources.list , então se você realmente quer apenas remover uma fonte, você pode editar esse arquivo e remover as linhas apropriadas.
No entanto, você ainda tem o VirtualBox instalado? Se você fizer isso, você provavelmente precisará colocar as informações corretas em sources.list. Do site do VirtualBox :
Debian-based Linux distributions
Add one of the following lines according to your distribution to your /etc/apt/sources.list:
deb http://download.virtualbox.org/virtualbox/debian trusty contrib
deb http://download.virtualbox.org/virtualbox/debian saucy contrib
deb http://download.virtualbox.org/virtualbox/debian raring contrib
deb http://download.virtualbox.org/virtualbox/debian quantal contrib
deb http://download.virtualbox.org/virtualbox/debian precise contrib
deb http://download.virtualbox.org/virtualbox/debian lucid contrib non-free
deb http://download.virtualbox.org/virtualbox/debian wheezy contrib
deb http://download.virtualbox.org/virtualbox/debian squeeze contrib non-free
Então, talvez tente alterar as linhas da caixa virtual em /etc/apt/sources.list para uma dessas linhas acima (escolha as linhas que correspondem à sua versão do Ubuntu).