Existe um pager PDF baseado em mupdf que tem exatamente o que você quer: link
(Alguns sistemas operacionais UNIX podem ter uma maneira fácil de instalá-lo, por exemplo, o Arch Linux possui o pacote no Arch User Repository: link )
Eu uso o mupdf e gosto muito, porque sou viciado em vim. Uma coisa me incomoda: não há rolagem contínua. Quando você chegar ao final de uma página e rolar mais, ele "salta" para a próxima página.
Existe uma maneira de ativar a rolagem contínua?
Encontrei o link e está escrito que você pode usar SHIFT + C para ativá-lo. Mas isso só faz a exibição amarela.
Eu o uso no Windows 10 se isso for relevante, mas como é principalmente uma ferramenta unix, faço a pergunta aqui.