Você pode arrastar usando o botão do meio do mouse em evince para rolar o documento.
Ao visualizar PDFs grandes com letras pequenas, onde é preciso ampliar para poder ler mesmo em tela cheia, seria bom poder mover o 'papel' com o arrastar do mouse (tipo de cursor de mão).
Existe também uma solução para arrastar da esquerda para a direita usando o touchpad?
Você pode arrastar usando o botão do meio do mouse em evince para rolar o documento.
Se você não se importa em usar outros leitores de PDF, o qpdfview pode rolar com o botão esquerdo do mouse.
sudo apt-get install qpdfview qpdfview-ps-plugin
(qpdfview-ps-plugin é opcional, mas sem ele você receberá a caixa de diálogo de erro "Não é possível carregar o plugin PS!" toda vez que você abrir a tela de configurações)