Parece que o problema ainda está em discussão sobre sua pergunta no stackoverflow, então ...
IMO você tem duas opções:
dot.deb
dot.deb tem pacotes php e eu os usei no Ubuntu antes.
Adicione o repositório dot.deb
sudo echo "deb http://php53.dotdeb.org stable all" >> /etc/apt/sources.list
Instalar o php5
sudo apt-get update
sudo apt-get install php5-cli php5-common php5-suhosin
compile o php
Do repositório preciso - Isso pode ser mais seguro;)
apt-get install ubuntu-dev-tools
pull-lp-source php5 precise
dpkg-source -x php5_5.3.10-*.dsc
apt-get build-dep php5
cd php5-5.3.10
debuild binary
Este segundo método foi retirado de Como atualizar para o PHP 5.3.10 em 10.04?