Não se preocupe com a versão instalada, basta remover a pasta.
Como chegar a outra versão, então?
Eu tentaria o apt-pinning para instalar o pacote de outra fonte.
Haverá um pacote mais novo em um PPA ou até mesmo em outra versão do Ubuntu e com o apt-pinning você poderá disponibilizá-los.
Tem suas limitações, no entanto.
Aqui você pode ler mais sobre isso.
Mas tenha cuidado. Especialmente atualizar o libc6 para uma versão mais nova quebrará todo o seu sistema. Aconteceu comigo também. Portanto, certifique-se de não atualizar a biblioteca principal do sistema, ou que a libc6 não faça parte dos pacotes atualizados.
Eu também vou postar outro link, onde diferentes "formas" de instalação são apresentadas. Dê uma olhada aqui
Mas, além dessa pequena falha, o pin-pinning funciona muito bem.