Para evitar muitos repositórios de magia negra para apenas um pacote é um pouco exagerado, então tentei outra maneira de instalá-lo.
1) apt-get remove evince
remove a versão atual
2) baixou o evince de link
3) apt-get install gdebi
4) use gdebi para instalar o evince que acabou de baixar
5) contra as minhas expectativas eu caí no inferno de dependência!
Muitas vezes este método funciona bem, mas desta vez eu tive mais de 50 (!) dependências cumulativas. Adicionado a isso: algumas bibliotecas eram muito núcleo ligadas ao sistema, então a chance de quebrar o sistema era extrema.
Conclusão: Esta não foi a maneira de instalar o evince 3.10 no Ubuntu Precise.