Eu pesquisei todos os locais que contêm associações de tipo mime e finalmente encontrei a solução:
$ nano ~/.config/mimeapps.list
application / pdf foi definido corretamente, mas image / pdf foi definido como ImageMagick. Edite-o para suas próprias preferências (evince.desktop no meu caso).
Verificar se o arquivo PDF é de aplicativo ou o tipo de imagem foi uma das primeiras coisas que fiz (e foi application / pdf), então suspeito que isso seja um bug.