Você deve verificar se o yum está configurado para verificar as assinaturas gpg. Você está procurando por algo assim em /etc/yum.repos.d/epel.repo
:
[epel]
[...]
gpgcheck=1
Se estiver lá, como Alex observa, você não poderá usar o repositório se as assinaturas não estiverem combinando com as chaves. Isso também é aconselhamento formal da Red Hat sobre o assunto (ver parte inferior da página vinculada).