É claro que o arquivo PDF por si só não causa nenhum dano, é apenas o programa que está tentando analisar / renderizar. Razão por que pode fazer mal é porque o arquivo PDF é uma espécie de programa em si. Ele contém instruções necessárias para o renderizador PDF exibir o documento da maneira pretendida. Infelizmente, com o passar do tempo, a lista de macros permitidas para PDF cresceu muito e, por exemplo, pode conter links da Web e até mesmo executar javascript.
Isso é muito parecido com o motivo pelo qual arquivos do Word ou do Excel podem ser prejudiciais - eles podem conter macros VBA, que podem acessar arquivos locais e expor conteúdo local a pessoas malvadas e fazer muitas outras coisas ruins.
Se você pudesse usar um renderizador de PDF bastante estúpido que não suporta instruções avançadas (certamente não o Adobe Acrobat Reader), então esse mesmo PDF pode ser considerado bastante seguro.