Sob o Evince 3.4 você pode ativar um botão "voltar" editando a barra de ferramentas ( Editar → Barra de ferramentas ; arrastar e soltar funções na barra de ferramentas):
Não acredito que exista uma tecla de atalho por padrão, mas você pode adicionar um personalizado um.
Se você estiver procurando por personalização, talvez seja melhor aproveitar um visualizador de PDF como Okular ou qpdfview mesmo assim. Ambos devem oferecer a função que você está procurando.