Uma das formas padrão de fazer isso é baixar o código-fonte do php do link e compilá-lo com ./configure --prefix=/opt/php/5.3.15 ou algo para esse efeito. Então, o seu novo php não entrará em conflito com nenhum pacote do sistema. Note que no Fedora, você precisará instalar um monte de pacotes -devel para construir o php com a funcionalidade que você mais deseja.