Você pode fazer isso em Okular
se não se importar em usar as dependências do kde.
sudo apt-get install okular
A opção é encontrada em Settings/Configure Okular.../Accessibility
verificando Change colors
e Color mode: Change Paper Color
e selecionando uma cor na amostra abaixo. Funciona com vários arquivos pdf que eu tenho do arxiv, mas talvez sem surpresa, não funciona com arquivos pdf que são simplesmente digitalizações de páginas.