Como diz Nephente, o botão do meio do mouse faz isso.
Da documentação de ajuda (visualizador de documentos Evince):
Arrastando a página com o mouse, como se estivesse pegando. Para fazer isso:
- Mova o ponteiro do mouse sobre a página e mantenha pressionado o botão do meio do mouse para arrastá-lo.
- Se você não tiver um botão do meio do mouse, mantenha pressionados os botões esquerdo e direito do mouse ao mesmo tempo e, em seguida, arraste.