Você não precisa do Open Office. As diferenças entre o LibreOffice e o Open Office são mínimas para dizer o mínimo e, considerando que a dinâmica da comunidade agora está com o LibreOffice, que vem bem pré-instalado no Ubuntu, eu não perderia seu tempo com o OpenOffice.
A Oracle decidiu, depois de adquirir a Sun, que não estava interessada em mantê-la e transferiu-a para a Apache Foundation. Enquanto isso, muitos desenvolvedores começaram o LibreOffice como um fork do OpenOffice. No entanto, alguns desenvolvedores continuam trabalhando no OpenOffice e acredito que houve uma nova versão há não muito tempo, mas como eu disse, as diferenças entre os dois são insignificantes e a dinâmica é claramente com o LibreOffice atualmente.
Em relação à desinstalação do LibreOffice, acho que você precisará desinstalar os pacotes separadamente, já que o meta-pacote não é instalado por padrão.
Então eu removerei qualquer pacote do OpenOffice - use o synaptic - e comece novamente usando o método que você recebeu.
No entanto, mais uma vez, não recomendo ir a todo esse alarde para um conjunto de aplicativos quase idêntico ao que você já instalou confortavelmente.