Eu tinha Evince 3.6.1. Do jeito que eu atualizei, eu apenas pressione Ctrl + Alt + T no seu teclado para abrir o Terminal. Quando se abre, execute o (s) comando (s) abaixo:
sudo add-apt-repository ppa:gnome3-team/gnome3
sudo apt-get update
sudo apt-get install evince
Abaixo estão as imagens antes e depois.
Tenha em mente que a versão estável atual é 3.6.1 .
Ou use o Synaptic. Se não estiver instalado, você pode instalá-lo, basta pressionar Ctrl + Alt + T no seu teclado para abrir o Terminal. Quando se abre, execute o (s) comando (s) abaixo:
sudo apt-get install synaptic
Editar
O Evince para 12.04 não está mais disponível no repo. só está disponível para 12.10 e 13.04. Para obtê-lo para outras versões do Ubuntu, verifique aqui ou aqui .