Abra um terminal, digite o seguinte comando e siga as instruções na tela:
sudo aptitude purge openoffice.org
Se você ainda não tem o pacote aptitude instalado, você pode fazê-lo:
sudo apt-get install aptitude
A vantagem do aptitude sobre o apt-get é que ele instala todas as dependências necessárias automaticamente ao instalar um pacote, e remove automaticamente todas as dependências obsoletas que não são mais necessárias.