rpm -e epel-release
Você remove os pacotes usando o nome deles (não o nome do arquivo).
Você provavelmente está faltando alguns arquivos que este pacote reinstalar. Você pode verificar com
rpm -V epel-release
Mas se o seu /etc/yum.repos.d/ estiver realmente vazio, você também está perdendo repositórios de base do CentOS.