Instalando o PHP 5.4. * no Ubuntu 12.04
Basta adicionar o repositório PPA:
sudo add-apt-repository ppa:ondrej/php5-oldstable
E instale-o:
sudo apt-get update
sudo apt-get install php5
Você pode precisar instalar o add-apt-repository no Ubuntu 12.04. Para fazer isso, execute o comando:
sudo apt-get install python-software-properties
Outras novas versões
Para o PHP 5.5 (atualmente 5.5.30) adicione o repositório PPA:
sudo add-apt-repository ppa:ondrej/php5
Para o PHP 5.6 (atualmente 5.6.14) adicione o repositório PPA:
sudo add-apt-repository ppa:ondrej/php5-5.6