A primeira coisa que você precisa fazer é remover a instalação atual do openoffice.
Para isso, basta pressionar Ctrl + Alt + T no seu teclado para abrir o Terminal. Quando se abre, execute o (s) comando (s) abaixo:
sudo apt-get purge openoffice
sudo apt-get autoclean
Além disso, você pode querer remover o PPA que você adicionou. Para fazer isso apenas: (graças a amc)
sudo apt-add-repository --remove ppa:upubuntu-com/office
sudo apt-get update
Faça o download do openoffice 3.4.1 a partir do seu site e escolha a arquitetura correta (Linux Intel DEB ou Linux x86-64 DEB). Depois de baixado, navegue pelo terminal até o local de download (provavelmente a pasta Downloads) e execute os comandos abaixo:
tar -vxzf Apache_OpenOffice_incubating_3.4.1_Linux_x86_install-deb_en-US.tar.gz
cd en-US/DEBS
sudo dpkg -i *.deb
cd desktop-integration
sudo dpkg -i *.deb
espere o primeiro comando terminar antes de executar os dois últimos comandos.
Em uma nota pessoal, eu iria com o Libreoffice como Wolter Hellmund recomendou.