O Firefox não oferece essa função sem uma extensão. A extensão Flashblock faz o que você pede (lista de permissões no nível do domínio), mas apenas para Flash e não para PDF. NoScript permite o bloqueio de todo o conteúdo do plugin, mas apenas combinado com o JavaScript, então isso pode não ser aceitável para você. Não conheço nenhuma outra extensão que bloqueie a exibição de conteúdo em PDF via plug-in e permita uma lista branca e uma pesquisa rápida em addons.mozilla.org também não mostra resultados interessantes.
Como provavelmente não existe nenhuma extensão que atenda exatamente às suas necessidades, uma solução que você pode tentar é usar apenas dois perfis diferentes no Firefox. Um com o plug-in do PDF desativado e outro para o site que você deseja permitir usar o plug-in do PDF.
As instruções sobre como usar para criar outro perfil estão aqui: link Você pode usar vários perfis ao mesmo tempo: link