Provavelmente, é porque em arquivos PDF, apenas o conteúdo da página atual está na memória (talvez a última ou a próxima página dependendo do fator de zoom). Nos visualizadores de imagens, porque supõem que os arquivos de imagem são pequenos, eles carregam todo o arquivo na memória, portanto, quando uma imagem realmente grande é escolhida, talvez essa imagem esteja totalmente carregada na memória, causando processamento lento.