Bem, como não há feedback, postarei uma maneira que uso. Se você está em um Red Hat / CentOS, então eu tive uma boa experiência usando o EPEL e Ius Community Project packages.
#EPEL
wget http://dl.iuscommunity.org/pub/ius/stable/Redhat/5/x86_64/epel-release-1-1.ius.el5.noarch.rpm
#IUS Community Project
wget http://dl.iuscommunity.org/pub/ius/stable/Redhat/5/x86_64/ius-release-1.0-6.ius.el5.noarch.rpm
#Install repos
rpm -Uvh epel-release-1-1.ius.el5.noarch.rpm ius-release-1.0-6.ius.el5.noarch.rpm
Os pacotes PHP são prefixados com php52 ou php53 se você quiser um deles. Há também pacotes APC e Fileinfo. Você deve usar o PHP 5.3 se puder e o Fileinfo for incluído nele. Instalar um PHP base com o APC é simples:
yum install php53-pecl-apc
Veja os outros módulos se precisar instalar outros, como PDO, suhosin, soap, etc.:
yum list php53*