Você não precisa removê-lo. É mesmo pacote virtualbox-4.3. Basta instalá-lo e ele será atualizado.
Você também pode adicionar o repositório do Virtualbox e ele será atualizado automaticamente.
As direções estão no site do Virtualbox
Preciso primeiro remover o Vbox 4.3.10 e, em seguida, limpar e obter o último deb de 4.3.28 da Oracle? Estou correndo 14.04
Você não precisa removê-lo. É mesmo pacote virtualbox-4.3. Basta instalá-lo e ele será atualizado.
Você também pode adicionar o repositório do Virtualbox e ele será atualizado automaticamente.
As direções estão no site do Virtualbox