Simplesmente:
yum downgrade httpd-<version-number>
A versão já deve estar disponível no repositório, com a qual você pode verificar:
yum list --showduplicates httpd
Você pode então encontrar problemas de dependência: uma versão mais antiga do httpd depende de um pacote antigo que tenha sido obsoleto. Nesse caso, você deve remover os pacotes dependentes.
Se a versão que você está procurando não estiver disponível no repositório, e você não conseguir encontrar o RPM usando pesquisa do rpmbone , construa a partir da fonte.