Aqui está a solução que eu fiz:
Instale yum-utils
e descubra quais arquivos estão no pacote php53
# yum install yum-utils
# repoquery --list php53
/etc/httpd/conf.d/php.conf
/usr/lib/httpd/modules/libphp5.so
/var/lib/php/session
/var/www/icons/php.gif
Instale o plug-in yum-downloadonly
para yum
# yum install yum-downloadonly
Faça o download do pacote php53
RPM sem instalar
# yum install --downloadonly --downloaddir=/home/dump php53
Descompacte o pacote RPM
# rpm2cpio php53-5.3.3-22.el5_10.x86_64.rpm | cpio -idmv
Copie os arquivos do pacote RPM para seu local relevante no servidor
# cp php.conf /etc/httpd/conf.d/php.conf
# cp libphp5.so /usr/lib/httpd/modules/libphp5.so
... etc
Não há httpd
instalado!