O Virtualbox está disponível no repositório do Ubuntu. Você pode instalá-lo no Ubuntu Software Center ou usar o terminal executando sudo apt-get install virtualbox
Se você precisar que o Oracle mantenha o VirtualBox executando isso no Terminal:
sudo sh -c "echo 'deb http://download.virtualbox.org/virtualbox/debian
'$(lsb_release -cs)' contrib non-free' > /etc/apt/sources.list.d/virtualbox.list" &&
wget -q http://download.virtualbox.org/virtualbox/debian/oracle_vbox.asc -O- | sudo apt-
key add - && sudo apt-get update && sudo apt-get install virtualbox-4.3 dkms