Encontrei esse problema com arquivos PDF gerados com o Microsoft Office. A única maneira de obter esse arquivo PDF exibido corretamente era usar o Adobe Reader.
Parece ser um problema com uma fonte do Windows que não está incorporada no Arquivo PDF que não é renderizado corretamente em alguns mecanismos de renderização.
O único mecanismo que aparece nesse problema é o Adobe Reader.