Parece que você instalou muitos módulos adicionais do PHP a partir do repositório remi. Quando você faz o downgrade do PHP, as dependências não estão mais disponíveis. Você pode tentar rebaixá-los também
yum downgrade php*
Mas isso provavelmente também falhará, pois nem todos esses pacotes estão disponíveis nos repositórios padrão
Sugiro remover todos os pacotes do PHP primeiro:
yum remove php*
Depois, você pode reinstalar os pacotes necessários no repositório padrão:
yum install php php-cli ...