Acredito que há várias soluções, e a que você escolhe depende do seu estilo de administração do sistema.
A maneira 'fácil' é instalar o php e pacotes relacionados de outro repositório, como este . A vantagem é que leva menos tempo, a desvantagem é que você está confiando em uma fonte externa para seus binários em seu sistema, tanto para atualizações oportunas quanto para manter a integridade e a segurança dos pacotes.
A maneira 'dura' é compilar a sua. Eu digo que é 'difícil', mas realmente não é tão ruim. O que eu faço é que eu tenho os comandos ./configure todos salvos, então quando uma nova versão é lançada, eu simplesmente tenho que usar as mesmas opções para obter meu ambiente php da mesma forma que era para versões anteriores.
Para sistemas sem requisitos exigentes eu uso a rota do rpm (na verdade 5.1 funciona bem para esses sistemas), mas para aqueles com ambientes php personalizados eu ainda compilo da fonte.
Outro benefício de compilar o php sozinho é que você realmente entende e aprende mais sobre o software e como ele funciona no seu servidor. Você pode se orgulhar disso e isso o diferencia de outros administradores de sistema!