Eu não estou tentando substituir a resposta do EightBitTony, porque é excelente, mas se você decidir continuar com o PHP no Centos 5, você tem algumas opções.
Há um conjunto de pacotes no repositório de atualizações regulares chamado php53* . Se você preferir, desinstale seus pacotes PHP atuais ( yum remove php php-cli php-xml php-common... ) e instale os pacotes php53 correspondentes ( yum install php53 php53-cli php53-xml php53-common... ).
Você pode querer verificar se existem pacotes 5.3 correspondentes para tudo o que você está executando atualmente antes de fazer o acima.