O problema com a instalação do texlive 2012 no Ubuntu Precise 12.04 é que, se as coisas dão errado, não há muita informação disponível sobre como desinstalá-lo adequadamente. Acho que é importante dizer explicitamente desinstalar para melhorar os resultados de pesquisa de outras pessoas. Eu finalmente encontrei uma solução que funcionou para mim com a ajuda do LaTeX Users Group no Google Groups.
Link para o grupo de usuários do LaTeX
sudo apt-get remove texlive*
sudo apt-get autoremove
sudo apt-get clean
sudo apt-get update
sudo apt-get autoclean
sudo apt-get check
sudo rm /var/lib/dpkg/info/texlive*.postrm
sudo rm /var/lib/dpkg/info/texlive*.list
sudo dpkg --purge --force-all texlive*
sudo dpkg --purge --force-all tex-common*
sudo apt-get install texlive-latex-base
sudo apt-get install texlive-latex-extra
sudo apt-get install texlive-full
Isto tudo assume que você adicionou repositórios Backports conforme descrito aqui