Experimente este comando:
sudo apt-get remove --purge libreoffice4.2*
O que isto faz é combinar os pacotes libreoffice com a versão 4.2 e removê-los. Após a remoção, é aconselhável reiniciar.
Fonte: link
Se a versão "antiga" que você deseja remover for diferente de 4.2 ou se você quiser ter uma versão mais recente que a que você tem agora, você pode considerar o uso do Gerenciador de Pacotes Synaptic para remover todas as versões instaladas (pesquisando 'libreoffice') e depois
sudo add-apt-repository ppa:libreoffice/ppa
sudo apt-get update
sudo apt-get install libreoffice