Encontrar um PPA ou DEB suportado geralmente é o melhor caminho, mas como último recurso, eu costumava ter sucesso moderado compilando o PHP a partir do código-fonte.
Sourcecode: link
Instruções oficiais detalhadas: link
cd ../php-NN
./configure --prefix=/usr/local/php54 --with-apxs2=/usr/local/apache2/bin/apxs --with-mysql
make
make install
Você precisa do pacote apache2-dev para vincular a fonte.
Usando o --prefix =, você pode ter múltiplas versões do PHP instaladas de uma só vez.