A especificação do PDF é bastante complexa. Mas, como você observa, seria de se esperar que o poder de processamento de GHz passasse por ele.
De qualquer forma, a resposta é (em um nível alto) direta. A renderização de PDF poderia ser feita para ser rápida e eficiente. Mas isso envolveria um tremendo esforço de codificação. Escrever código otimizado é difícil e consome tempo.
Em relação ao software escritório / produtividade , incluindo os visualizadores de PDF, os desenvolvedores tendem a focar em novos recursos e funcionalidades em favor de "desperdiçar" seus valiosos recursos para otimizar o desempenho. Afinal de contas, o que é bom é um software de alto desempenho se ele não fornecer todos os recursos incríveis que exigimos. E a realidade comercial hoje em dia é que grandes problemas de versão devem ocorrer com frequência se os desenvolvedores quiserem permanecer no negócio.
JOGOS são uma chaleira de peixe totalmente diferente. Uma experiência positiva do usuário final requer absolutamente um alto nível de desempenho. Um jogo que é ótimo seria um flop se atingisse apenas 10 fps. Por isso, os desenvolvedores de jogos disponibilizam enormes quantidades de recursos para otimizar o desempenho. Ao longo dos anos, as casas de jogos desenvolveram e refinaram estruturas e bibliotecas inteiras que contêm código super otimizado que seus desenvolvedores podem reutilizar e alavancar.
Veja algumas leituras interessantes sobre otimização em geral.